让模型安全完成任务,字节Seed成立新部门

让模型安全完成任务,字节Seed成立新部门

(文/刘媛媛 编辑/吕栋)

10月13日,观察者网获悉,字节跳动Seed近日发布内部邮件,宣布成立“Seed Model-Alignment&Preparedness”部门,由严林负责,向Seed负责人吴永辉汇报。原Responsible AI团队及部分Chat团队成员将转入新部门。

这一动作释放出一个信号:在中国前沿大模型实验室里,安全与对齐正在从合规配套升格为与模型能力并列的核心工程。

据悉,该部门的设立旨在加强安全与对齐方向的投入,对齐的核心是让模型的行为与人类意图和安全约束保持一致,从而提升Agent Model(智能体模型)安全能力,以及防范CBRN(化学、生物、放射、核)等前沿能力风险。

换句话说,其目标不只是“别让模型出事”,而是让前沿模型在安全与授权约束内完成任务。

这背后是全球AI风险的到来。过去一年,智能体逃逸引发的网络攻击、自动化社工、工具滥用等事件频繁进入公众视野。CBRN相关前沿能力风险,也被各国监管者和实验室反复提及。

比如,今年7月,英国AI安全研究所(AISI)在网络安全评估中发现,具备不受限制联网能力的AI模型自主创建虚假身份、编造社交工程话术,试图向开源项目注入恶意代码。一个智能体甚至用多个伪造的GitHub账号协调欺骗行动,并主动联系真人诱导其运行恶意代码,目的是绕过人工审查。

今年2月,一个名为hackerbot-claw的自主机器人(基于前沿大模型)利用配置错误的GitHub Actions工作流,实现远程代码执行并窃取写入权限凭证,最后在7个目标中成功攻破5个。

过去,国内大模型团队的安全工作多纳入公司整体安全合规体系,上线前做评测、出事前做拦截、违规后做处置。但Seed的判断是,当模型能力逼近“可替代部分人类流程”的临界点,安全与对齐已不是外围护栏,而是模型能否规模化进入生产、政务、科研、金融等高敏场景的前提。

不过,独立部门并不等于风险清零。对齐训练需要解决模型知道边界与愿意停在边界内的差距,防护系统要在低误伤与低漏放之间找到平衡,外部合作和第三方评测也必须足够公开、可复现。