AI入城安全入链 2026年第三期网安直播聚焦城市高质量发展中的AI数据安全保护
随着云南城市数智化转型持续推进,城市高质量发展对数据要素的利用,已告别“静态、单源、单结构”的传统模式,全面迈入动态运算、全域融合、智能赋能业务的新阶段。AI应用随之带来多源聚合衍生、训练样本污染、算法决策偏见、次生衍生数据失控等突出安全风险。9月24日,2026年第三期云南网络安全云社区直播如期举行,聚焦城市高质量发展中的AI数据安全保护开展专家解读。
复盘个人信息安全保护相关内容,邀请四位专家参与对话
节目开篇首先复盘上期个人信息安全保护相关内容,对2026年9月1日正式施行的《小型个人信息处理者个人信息保护简化措施规定》进行科普宣讲,围绕中小微企业、基层小微机构的合规减负、个人权益防护输出实操指引。
随后,话题转向城市数智化建设下的AI数据安全新挑战,围绕AI安全底座治理、训练样本安全管控、智能推演输出校验、全流程合规风控四大核心维度展开深度研讨。

张曦文
本次直播由昆明市住房和城乡建设局张曦文主持,邀请昆明电器科学研究所正高级工程师杨津听、云南南天信息安全测评中心AI安全高级工程师刘安帆、昆明信息港互联网应用技术研究所所长兼技术部总监欧阳欣、绿盟科技集团安全顾问傅戈四位行业专家参与对话。
杨津听:静态分级管不住AI跨表风险,要给数据办“数字身份证”
传统单表静态分类分级,面对AI跨表关联运算基本失效。其根源在于传统方法基于静态规则、面向单表结构,而AI时代计算范式基于语义理解和复杂上下文推理,二者存在本质冲突。
单看普通字段无风险,多表拼接就会生成敏感信息;字段级标签表达不了跨表语义关系,AI做“一人一档”画像时推理链断裂;静态规则跟不上高频动态变化,分级结果“刚生成就过时”;非结构化文档(合同、公文、影像、录音等)长期处于管控盲区。
不少政务部门直接把原始数据投喂AI模型,“数据裸奔入模”隐患重重:政策解读与辅助决策中,语料含过期文件导致政策解读张冠李戴、样本有偏导致决策误导;民生服务与资格核验中,跨部门数据不做关联核验,可能把符合条件的困难群众筛掉,或让不符合条件的人钻空子,且算法不透明导致群众申诉无据;数据共享与跨域流动中,敏感信息可能顺着模型输出和API调用泄露,跨境场景还须依法评估审查;各部门标准不一、系统不通,各喂各的模型,重复训练加剧“数据烟囱”,造成治理内耗。

杨津听
问题根源在于只做单源分级,忽略跨表关联风险。破解不能靠人工逐条打标签,须依靠数据集市标识化流水线:全域标识,给每一个数据实体分配唯一数字身份,落实“一数一源、一源多用”;源头治理,接入即清洗,脏数据、重复数据在进入集市前拦下;数据源头即完成清洗;搭建数据关联图谱自动识别组合敏感风险,把公文、音视频等非结构化数据用多模态识别纳入同一套分级体系;采用“模型迭代+规则审计”双循环,专家制定初始策略,AI判定定期抽查复核,特殊场景人工兜底,算法跑日常,专家把方向,实现分级动态运营。
刘安帆:样本污染不是技术小事,会直接酿成行政问责
脏数据、样本偏差、数据投毒,不只是模型精度问题,会沿着“数据——模型——决策”传导链转化为现实治理伤害:模型把正常情形标记为异常,一线人员核查无效警报,告警疲劳下真正风险被漏掉,行政效能被拉低;恶意样本可埋设触发条件,模型平时无异常,碰到特定关键词就输出虚假信息,决策层拿失真报告做决策,方向可能走偏;历史偏差被算法固化造成群体不公、脱敏缺失引发敏感信息泄露,攻击者可通过推理攻击反推原始数据,行政主体面临法律责任、监管通报、公益诉讼甚至问责。

刘安帆
守住样本入口是第一道防线。数据输入安全不是一次性验收,而是嵌入AI全流程的常态化要求,需要业务、算法、安全三支队伍协同,把安全能力前置到数据入口。
要建立分级准入机制,训练集重分布均衡和代表性,测试集重贴合真实场景,增量数据集准入标准不低于初始训练集,核心训练数据必须过完整性、合规、质量三重审核;一是坚持清洗前置,把清洗从上线前集中攻坚变为入库时常态化前置工序,大规模历史语料分批清洗、增量校验,避免旧账未清又添新账;二是建好数据血缘链条,每批次记录来源、采集时间、清洗操作、校验结果,形成血缘图谱,出问题能快速定位污染源;三是区分风险场景设置红线与弹性通道,高风险业务如民生保障、公共安全执行最高准入标准,宁可暂缓上线,绝不妥协降标;非敏感辅助决策场景可在守住核心安全底线前提下适度简化流程、设立快速通道,但事后审计要更密集,数据准入与清洗纳入项目全生命周期管理。数据安全不是成本项,而是质量项;清洗不是耽误工期,而是确保模型出厂合格的必要工序。
欧阳欣:原始数据干净不等于AI输出安全,衍生数据要先“上户口”
原料干净不等于炒菜合格,AI推演生成的衍生数据游离在原有数据目录之外,权属、泄露责任一直是监管难点。像多部门数据合成的“企业风险画像”,没有原始样本一一对应,生成逻辑不透明,属于典型衍生数据。
国家数据局今年3月《衍生数据的产权配置》政策解读给出判断口径:判定看两点,一看显著性,内容形态是否实质性改变;二看增值性,价值是否显著增值。识别有三招:标识定身份,按等保标准和《人工智能生成合成内容标识办法》对生成合成内容作显式标识和隐式标识;溯源定来路,通过数据流追踪、水印验证查明链路,数据溯源、数据水印、血缘分析已成等保三级以上系统核查项;推演反查,定期测试从AI输出能否倒推敏感输入,能倒推就说明存在泄露通道。

欧阳欣
衍生数据要先“上户口”:落实AI生成内容显隐式标识;把溯源、水印、血缘分析作为等保三级以上系统核查硬性要求;定期推演反查,严防从输出倒推敏感原始信息。泄露责任遵循控制力优先、约定优先、法定连带兜底,控制力原则即数据提供方管源头合法,算法开发方管模型侧“记忆和复现”泄露,业务使用方管使用场景和权限配置;衍生数据持有权、使用权、经营权可由交易双方在合同中约定,国家数据局、市场监管总局印发的《数据融合开发合同(示范文本)》已专门设计条款;两方共同决定处理个人信息,损害个人信息权益的,依照《个人信息保护法》第二十条承担连带责任。政务采购协议必须坚持“法定为纲、约定为目”,专门写明衍生数据权责,单列数据用途边界、再加工权限、泄露责任分担,不能完全寄希望于商业约定。
自动化决策不能“机器一锤定音”,事关群众权益必须设置人工复核。《个人信息保护法》规定,自动化决策应保证透明度和结果公平公正,对个人权益有重大影响的决定,个人有权要求说明并拒绝“只让机器说了算”。一旦出现结果偏见,要立即暂停纯自动决策,人工接管;定位根源、上游样本有偏退回数据治理,模型缺陷回到算法侧,场景错配先停用;校准、小范围灰度复测后再审慎恢复运行,全程留痕。公正性校验要贯穿上线前、运行中、事后救济全流程,上线前建立公平性测试集并按规定备案评估;运行中设立偏差监测指标、定期抽检,完整留存审计日志,规避等保测评划定的33项一票否决红线,审计日志缺失、留存不足、可随意删改、无法溯源都在红线清单里;出问题申诉复核通道畅通。这套机制可挂接全国网安标委《网络安全标准实践指南——智能体部署使用安全指引》的五阶段落地。
AI输出可信,核心就是做到可解释、可审计、可追溯、可追责,而输出可信得靠全程从严托底;标识、台账、审计日志,加上入模管控、血缘追溯,串起来构成AI全生命周期的合规证据链。
傅戈:不用推倒重建老系统,警惕AI合规四大认知陷阱
生成式AI合规不等于传统数据安全合规,传统数据安全管的是“把原始数据看好”,生成式AI是把训练数据拿来“再生产”,提供的是加工后的内容。义务延伸到输入、输出、运营全链条。
输入侧:来源把关更严,交易获取数据要能追溯原始来源合法性;质量要求加码,要增强训练数据真实性、准确性、客观性、多样性;个人信息处理规则升级,训练数据涉及个人信息的须取得个人同意或符合法定其他情形。
输出侧:内容安全不得含有法律法规禁止的内容;防歧视,全过程中防止基于民族、信仰、地域、性别、年龄、职业、健康等歧视;标识义务,作显式标识和隐式标识;竞争合规,不得利用算法、数据、平台优势实施垄断和不正当竞争。
运营侧:提供者依法承担网络信息内容生产者责任,涉及个人信息的还承担个人信息处理者责任;具有舆论属性或社会动员能力的服务,要开展安全评估、履行算法备案;发现违法内容要停止生成、停止传输、消除内容并保留证据,采取模型优化训练等措施整改并报告。现实中四大误区极易踩坑:
一是过了等保就万事大吉,忽略AI内容与算法治理,模型能生成违法内容又无内容审核机制,照样会被认定未履行网络信息内容生产者责任;
二是默认用户提问提示词可以直接拿来训练模型,越权使用个人信息,用户提示词可能含敏感信息,拿来当训练语料超出告知同意范围,须另行取得合法性基础;
三是发现AI生成违规内容只做删除屏蔽,不对模型本身优化整改,AI场景不能只删除,须回到模型上治;
四是误以为只有企业才算AI服务提供者,个人开发者把带生成能力的服务开放给境内公众,一样是提供者,一样要承担义务。

傅戈
落地“汇聚——训练——推理——生成——归档——销毁”全链条风控,不必推翻现有业务系统。AI是给现有系统“加能力”,是外接引擎,不是拆掉重装机身。采取旁挂松耦合架构,通过API网关、检索增强、智能体编排、事件驱动、消息队列、嵌入式插件等方式集成,原则是不动现有系统。复用原有系统的汇聚、归档、销毁能力,风险管控聚焦新增的AI训练推理环节。成本上省掉重建开发费用,原有安全机制接着用,训练可盘活内部富余算力。优先部署AI安全网关,对所有模型调用做统一代理、统一审核:输入端对提示词做关键词过滤和语义检测,高风险输入拦下;输出端实时审核,命中违规设定立即拦截,返回预设话术并告警;全程留痕,形成安全审计日志;现有制度只需要动态增补生成式数据安全保护、合规要求条款,实现低成本迭代落地。四条措施做到——架构上旁挂旧系统,边界上增量只管AI侧,控制点上优先建好安全网关,制度上动态增补不重编,全链条风控就能在不推倒重建的前提下逐步落地。
同题共答:拒绝纸面安全,要让制度跑在风险前面
杨津听强调,三个“必须真落地”:标准要真落进标识里,给每个数据实体发唯一数字身份,落实“一数一源”,标准不是印在文件里而是嵌在流水线里;分级标签要真跟着数据跑,业务属性、规模、应用场景一变,定级要跟着调;真拿关联风险当试金石,检验标准就一条——风险来的时候能不能提前看见。
刘安帆提出,输入端要做实三件事:入模闸口要过硬,来源合法性、质量校验、脱敏处理三道工序一道不能省,全部留痕;血缘要能查,模型输出异常能快速指到哪一批数据、哪一次清洗出的问题;出厂前要验,真出了事,多久能查到源头,查不到,数据安全制度就落在了“纸面上”。
欧阳欣指出,输出端要定期真测,推演反查按周期真做,测泄露通道堵没堵;责任真查,衍生数据责任条款写进合同后配套“归责演练”,走不通的地方就是坑;复核通道真用,标识、反测演练、熔断纠偏机制不能摆样子,要有实际触发运行记录,一年里有没有真熔断过、纠偏留没留痕,这些就是分水岭。
傅戈表示,制度也要接得上。要把每条义务翻译成控制点,内容审核、输入输出过滤、算法备案、审计日志都要对应系统功能或真实记录,对不上就是“纸面义务”;让外部检查当磨刀石,等保测评、全国网安标委《网络安全标准实践指南——智能体部署使用安全指引》五阶段指引,该过检的过检;制度动态更新,新合规要求一出来及时增补修订。
张曦文总结,一套有效的数据安全体系有三条硬标尺:出事查得到原因、问责找得到人员、整改改得到根源。当前,云南已进入城市高质量发展的数智化新阶段。AI正以前所未有的深度和广度,融入城市规划、公共服务、民生保障、产业决策、社会治理等核心场景,成为驱动城市发展的关键动能。AI数据安全,不仅是城市数智化转型的核心保障,更是智能决策体系可信可用的根本支撑。AI深度融入城市治理,数据安全是数智化转型不可逾越的底线。本期直播形成的实操思路,可为各部门AI数据安全治理提供现实参考。(昆明信息港 记者江枫)
