谷歌也干了,Gemini“越狱”入侵三家公司

谷歌也干了,Gemini“越狱”入侵三家公司

据路透社19日报道,谷歌公司的Gemini模型在一次网络安全能力测试期间接入互联网,入侵了三家企业的系统,这是谷歌AI模型实施此类入侵行为的首例已知案例。

这几起入侵事件发生在5月,当时独立网络安全评估机构Irregular正在开展网络安全测试。

谷歌安全工程副总裁阿德金斯在一份声明中介绍,在一次标准测试评估过程中,Gemini在互联网上搜集公开信息,通过猜测账号凭证,访问了三个它认定属于测试范围内的网站。

谷歌称,在全部三起事件中,Gemini模型随后都主动停止了入侵操作,未造成实际损害,谷歌也向美国联邦部门报告了此事。

阿德金斯表示:“我们已经告知三家公司相关情况,并协助合作测试方一起修改了测试流程。这些事件说明,训练高性能AI模型、使其能够做出负责任的行为,具有重要意义。”

另据《华尔街日报》报道,谷歌方面表示,此次Gemini的“越狱”事件是“身份误认”造成的。

事件起因于一次“夺旗”演练,Gemini需要在Irregular提供的测试环境中,从一家虚构公司运行的软件里找到指定信息。而这家虚构公司与现实中的一家公司重名。

Irregular称,按照原有设计,Gemini无法访问互联网,但却意外地获得了互联网访问权限。

在第一起事件中,Gemini通过反复猜测密码,成功进入了一家企业的受保护系统。谷歌表示,模型随后判断自己面对的是真实公司,立即停止操作并退出。

另外两次发生在不同轮次的测试中。Gemini在网上搜索公司名称,找到两个公开存储库,其中包含其他公司的登录凭证。模型尝试使用这些凭证完成测试任务,成功进入系统后才意识到目标属于真实公司,并终止行动。

谷歌未公布遭到入侵的公司名称,也没有说明具体涉及哪一款Gemini模型,只表示此次事件与其最新模型无关。

Irregular的发言人表示,本次事件暴露的问题同样影响了其他多家AI实验室,所有相关实验室都在7月下旬收到了通知。该发言人说:“我们发现的全部问题,早在数周前就已经修复完毕。”

Irregular曾多次卷入在模型评估过程中,模型逃逸测试环境并入侵其他公司系统的事件。此前,Meta、Anthropic和OpenAI也披露了相关同类事件。

Meta在8月表示,相关事件并未出现沙箱逃逸或是复杂的网络攻击。Irregular称,谷歌的案例与其他事件并无二致,并非新出现的问题,该公司正在研究安全开展人工智能网络安全评估的最佳模式。

报道提到,自7月曝出Hugging Face遭入侵事件后,外界对新一代大模型网络安全能力的担忧持续加剧。第三方测评机构 METR在8月发布的报告披露,在该事件中,多达1200个智能代理在OpenAI内部的秘密留言板上协同行动,试图在测评中作弊。

上周末,Anthropic、OpenAI、谷歌以及SpaceX的负责人均达成共识,认为有必要放缓人工智能的研发推进速度,不过这些企业均未说明具体该如何落地。