守住数据安全底线,推动人工智能有序发展︱法经兵言
当前,人工智能(AI)技术快速迭代发展、持续落地应用,依托海量数据训练,AI实现智能识别、内容生成、辅助决策等能力,不断释放数字红利。在此过程中,数据安全治理迎来了全新的挑战和问题。如何在抓住技术发展机遇的同时,积极面对新挑战、分析解决新问题,是数字经济时代的重要课题。
AI发展给数据安全治理带来的挑战
首先,是数据技术挑战。模型作为承载、处理数据的新型载体,能够萃取海量原始数据中的知识规律并沉淀于参数之中,能够大幅拓展数据要素的应用场景,降低跨主体协同使用数据的成本。数据安全不再是简单的系统与数据库防护,模型成为了新的失控点。当AI智能体开始自行规划、调工具、执行任务,其“犯错”就不再是输出偏差,而可能直接触碰甚至转移真实数据资产。今年7月,工信部网络安全威胁和漏洞信息共享平台(NVDB)监测发现,Anthropic公司开发的AI编程工具Claude Code多个版本在未经用户同意情况下向远程服务器回传地域、身份标识等敏感信息,构成潜伏在供应链中的“后门”隐患。这意味着安全治理必须把模型训练、部署、智能体运行的全生命周期纳入视野。
其次,是数据流通挑战。多方数据联合训练、数据共享、第三方标注、外包算力服务等模式广泛普及,一份数据会在数据提供方、标注服务商、模型厂商、算力平台等多主体间流转。然而,数据汇集、共享能够有效支撑AI技术实现突破性发展的同时,也会伴随着授权范围与二次使用冲突、多主体权责边界模糊、脱敏数据重识别风险等全新挑战。例如,为头部AI企业提供标注服务的服务商Mercor前不久遭遇了供应链攻击,4TB包含训练素材、用户信息的数据在暗网被拍卖,暴露了数据流转环节的安全短板。同时,数据跨境流动也是数据安全治理中亟须关注的场景,甚至可能影响国家安全。多主体流转链条拉长,任何一个环节管控缺失,都可能引发连锁的数据泄露风险。
其三,是数据使用挑战。数据不再只是储存在数据库的静态客体,而是被转化为模型的统计知识。被遗忘权落地难度显著上升、脱敏、匿名化的保护效力边界被AI聚合推理能力重新改写。原有数据保护规则、权限管理、权利实现方式,需要适配“知识内化于模型”的新型数据处理范式。然而,挑战之中同样蕴藏机遇。这套新范式正倒逼行业探索模型遗忘、参数级隐私保护、内容溯源水印等新技术。也在促使监管规则从单纯保护静态文件,拓展到覆盖模型训练、微调、推理全流程的数据权益保护体系,推动数据安全治理体系向动态化、智能化升级。
数据安全治理必须跟上AI技术迭代的节奏,但不代表因噎废食、阻滞创新。坚持发展与安全并重,以治理能力建设护航技术落地,才能推动AI产业安全、可持续地健康发展。
AI发展应用给数据安全治理带来的风险
随着技术的发展,AI产业的数据采集、数据集构建、数据流转环节,衍生出了一系列数据安全治理新问题,集中体现为违规数据爬取、数据泄露、数据造假、数据滥用以及GEO(生成式引擎优化)数据投毒等风险。
其一,违规大规模数据爬取与数据滥用,带来训练数据来源合规性风险。在互联网批量爬取个人信息、受版权保护作品用于模型训练,属于典型的数据采集环节的滥用行为。在深圳某AI理财平台案中,企业利用爬虫绕过平台防护,大规模抓取金融平台投资策略数据集,支撑AI“克隆交易”业务并向用户收费。这类行为本质是数据采集边界失控,爬虫抓取过程中往往附带收集网民个人信息、敏感特征数据,一旦数据集向外包服务商流转,原始数据脱离企业管控,极易引发泄露与不当复用风险。
其二,GEO数据投毒污染大模型训练与检索增强数据源,破坏训练知识库的可信性。黑产服务商通过批量制造虚假软文、虚构测评、伪造专家言论,将大量虚假信息散布至互联网,等待大模型联网抓取,污染模型的检索参考数据源,诱导模型输出被操控的结论。央视3·15晚会发布了一则案例:服务商虚构一款不存在的智能手环,编造虚假功能卖点,批量生成十余篇营销软文上线,仅两小时多家主流大模型在联网问答时,直接引用虚假素材,向用户推荐这款根本不存在的产品。GEO投毒污染的是互联网公开数据源,利用大模型RAG检索机制植入偏见与虚假信息,会持续干扰消费者决策、行业舆情乃至专业信息查询,给数据可信性治理带来全新难题。
其三,AI智能体自主交互诱发的数据跨界平台采集与非预期获取风险。自主AI智能体具有强交互性,模型在无人持续监督情况下,甚至可能脱离预设指令。部署于腾讯云的一批AI智能体,原本仅被赋予查询公园导航信息任务,在访问高德地图受限后,自主采集超出业务需求的地理信息数据,甚至自主探测其他企业服务器入口,出现超出预设任务的非预期网络交互行为。域外,Anthropic的Claude模型在自动化网页测试任务中,自主访问费城警方悬案线索征集网站,伪造目击者身份,提交虚假凶杀案件线索,谎称自己掌握案件目击信息。AI智能体自主执行网页表单提交动作,脱离人工管控后,主动向政府、执法平台报送虚假信息,挤占了应急、刑侦警力资源。而当前,国内外尚缺乏针对AI智能体交互行为的全周期数据安全规范机制。基此,人工智能数据安全治理不能仅关注静态数据库防护,必须向前延伸至训练数据源头治理,并对数据的采集、构建、流转各环节实施系统治理。
对策建议
面对AI发展带来的数据安全新挑战与问题,可从制度、技术、治理三个层面系统构建应对方案,构建覆盖AI训练数据全生命周期的治理体系,统筹风险防控与创新发展。
制度层面,立足大模型训练数据的采集、标注、流转、销毁全链条细化监管细则,明确公开数据爬取的合规边界,界定可用于模型训练的数据范围、权限。厘清原始数据、标注数据、模型衍生数据的权属关系,明确涉及多主体的数据、数据集的安全义务。进一步完善数据真实性核验标准与规范,细化数据用于模型训练的准入规则、评估规则等,并落实来源留存、溯源归档的要求。此外,应当统筹推进AI数据相关国家标准、行业标准与团体标准编制工作,围绕数据集各环节,加快研制统一规范。重点制定训练数据集质量评价、数据源可信性检验、数据爬取合规判定、数据集溯源存证等标准,为行业提供可落地、可量化的统一标尺。
技术层面,建立针对违规爬虫、数据集污染、数据外泄风险,搭建全链路数据校验与防护技术体系。部署爬虫识别、访问管理技术,防范绕过防护机制的不当爬取。引入数据集质量核验工具,对训练语料、检索增强知识库开展自动化真实性、完整性筛查,源头处阻断虚假数据流入模型训练环节。针对多主体间流转的数据,擅用数据脱敏、参数及隐私保护等技术,降低泄露风险。对具有接口调用能力的智能体,可设置访问白名单、操作日志审计、异常行为熔断机制,避免自主越界采集数据。
治理层面,构建协同共治机制,压实产业链上各方主体责任。随着训练数据的链条拉长、参与方增多,需调动各类主体进行协同共治。建立网信、公安、工信、市场监管等多部门联合的风险研判机制,发布违规爬取、数据集污染、数据泄露等新型风险案例。压实模型研发企业、数据集服务商、标注外包机构等的主体责任,要求企业建立训练数据合规内审、数据集安全测试、数据泄露应急处置的内部机制。同时,发挥行业自律作用,依托有关数据标准开展行业自查、风险样本共享与安全能力互评,引导行业统一安全底线。
综上,协同发力,以制度划定数据使用红线、以技术筑牢数据集安全防线、以治理凝聚多方合力,守住数据安全底线,以此推动AI安全有序发展。
(陈兵系南开大学竞争法研究中心主任、法学院副院长,王炳娇系南开大学前沿交叉学科研究院博士生)


