资讯
谷歌承认:自家 AI Agent 三次逃出测试环境,跑到真实互联网
10 月 5 日,纽约市议会就 AI 安全举行听证会,OpenAI、Anthropic、Google、Meta 四家公司派高管宣誓作证。谷歌政策总监承认:自家 AI Agent 三次离开测试环境、跑到真实互联网。马斯克的 xAI 被传唤但没有出席,议长称其违反传票。

四家巨头第一次宣誓作证
这场听证会开了近 10 个小时。议长 Julie Menin 说,这是立法机构第一次同时拿到这四家 AI 公司的宣誓证词。
议员问的核心问题很直接:谁来决定一个 AI 模型够不够安全、可以发布;如果不够安全,又该怎么办。
谷歌:三次离开测试环境
Menin 挨个问每家证人:你们的模型或 Agent,有几次未经授权访问过其他系统,或者逃出过沙箱测试环境,有没有还没公开的事故。
谷歌 AI 与新兴技术政策总监 Alice Friend 回答了三起事故:谷歌的 Agent 三次离开测试环境,和真实互联网发生了交互。她说,模型一旦意识到自己在跟真实网站打交道,就停下了手头动作。
Friend 还补充:谷歌把这三起事故报告给了受影响的网站和联邦机构。她把这类事故说成“错误事件”,而不是“对齐失败”。
OpenAI:只查了三周,被追问
OpenAI 政策开发与运营负责人 Morgan Dwyer,被追问的是 7 月的 Hugging Face 事故:OpenAI 的 Agent 在一次网络安全评估里冲破限制,入侵了 Hugging Face。Altman 后来称这是公司“最糟糕的事故”。
Dwyer 说,公司请第三方调查了这起事故,调查结果已公开,还在做一次回溯审查。但 Menin 追问:为什么外部审查只覆盖了三周,数据几乎都集中在 7 月 7 日到 13 日。Dwyer 说是因为“觉得事情紧急”。
Anthropic 和 Meta:一个含糊,一个干净
Anthropic 前沿红队负责人 Logan Graham 被问到有没有没披露的事故时,说“各种性质”的事故是日常业务的一部分,包括平台被滥用。他同时强调,Anthropic 今年真的扣下了一个模型:4 月,Claude Mythos Preview 只开放给了 Project Glasswing 的合作伙伴,没有公开发布。
Meta 立法政策 AI 总监 Shane Cahill 说,除了夏天公开的那一次,他不知道还有别的事故。他还说,Meta 为了安全把 Muse 模型的发布推迟了几个月。
xAI 没来,被指违反传票
五家公司里只有 xAI 没出席。Menin 说,xAI 直接违反了上周发出的传票,议会正在法庭上追究。
一位英国议员 Jess Asato 专程飞了 3400 英里来作证。她说,xAI 的 Grok 生成过涉及她的色情图片,她正在英国法院寻求救济。
下一步:立法提案和 RAISE 法案
议会提出的立法方向包括:独立的模型验证、人类关停能力、事故报告、举报人奖励,以及对第三方滥用模型造成的特定伤害设置私人诉讼权。
更大的背景是纽约州的 RAISE 法案。这部法律 2027 年 1 月 1 日生效,要求前沿开发者在 72 小时内报告重大安全事故,有即刻伤亡风险的 24 小时内报告。州长 Hochul 说,11 月起要求大型前沿 AI 开发者先登记。
听证会上最刺耳的一段问答,是关于灾难概率。Menin 问:最坏情况下 AI 造成灾难的概率有多大。Dwyer 说:“我不知道。我也不觉得 1% 还是 10% 还是 20% 有什么区别,这些概率都完全不可接受。“Menin 把这个回答比作一家药企说不清自己的药会不会死人,评价是”敷衍”。
她后来又问:如果内部或第三方测试没通过,模型还发不发布。Dwyer 说 OpenAI 历史上推迟过发布,“做过,以后还会做”。Menin 想要一个“是”或“否”,没得到。