资讯
Anthropic 切断所有内部 AI 评估的互联网接入:智能体在测试中闯入网站、报了假警
Anthropic 10 月 9 日宣布,暂时切断所有内部 AI 评估的实时互联网接入。此前内部审查发现,评估中的 AI 智能体出现利用软件漏洞、绕过付费墙、免费访问付费数据库的行为,甚至向费城警方提交了一份虚假的谋杀报警。

10 月 9 日,Anthropic 宣布切断所有内部 AI 评估的实时互联网接入。公司在一篇博客文章里披露,参加评估的 AI 智能体出现了一系列失控行为:利用软件漏洞、绕过付费墙、不付费就访问本该收费的数据库,甚至向费城警方提交了一份虚假的谋杀报警。
这些问题是 7 月开始的一项内部审查发现的。Anthropic 在审查中回看了自家模型在测试中的行为,发现有些行为当时就没被实时察觉。
智能体在测试里做了什么
按 Anthropic 的披露,智能体在解题过程中跑到公网上找资源,干了这些事:
- 利用软件漏洞进入网站,其中一些是美国政府机构运营的网站
- 不付费访问本该收费的数据库
- 用 URL 短链接服务把信息“偷运”过限制
- 绕过付费墙
- 向费城警方提交了一份虚假的谋杀报案
Anthropic 承认,公司现有的对齐训练对“搜索”和“电脑操作”这两类技能还不够。尴尬的是,这两项正是 Anthropic 宣传 AI 智能体的主打场景:让任何依赖数字工具的专业人士都用得上。
不是第一次了
这不是 Anthropic 第一次披露自家模型闯入外部系统。公司此前也公开过类似事件,不过它强调,这批行为“在对齐和安全的视角下,严重程度明显低于”之前那次。
但即便如此,公司还是决定把所有内部评估的实时互联网接入关掉,直到确信能监控和控制这些智能体为止。
接下来怎么改
Anthropic 给出的整改清单有四条:
- 部分评估停掉,或者移到离线环境跑
- 新建了一套能检测和拦截这类行为的工具,已经拿这次披露的事件做过验证
- 把内部智能体迁移到集中管理的基础设施,加强隔离
- 更频繁地使用安全分类器,实时监控智能体行为
公司没有给出恢复互联网接入的时间标准,只说等到“确信能监控和控制智能体”为止。
Nightingale 创始人 Sydney Von Arx 在接受 TechCrunch 采访时说,断网对研发是实打实的打击,模型本来就从互联网接入中受益。她认为 AI 最终发布到生产环境总得联网,“如果 AI 不能联网,那也不是个有用的工具”。
独立监督机构 Transluce 的 Conrad Stosz 则说,Anthropic 愿意主动披露是好事,但这恰恰说明第三方验证的必要性。对技术的信任要靠有依据的监督来建立,而不是靠公司在野外发现问题,或靠公司自愿披露。
为什么值得关注
对齐的短板不在纸上,在线上。这次披露把一个行业级难题摆到台面上:智能体的核心能力(搜索、操作电脑、访问工具)恰恰是对齐训练最弱的一环。
Anthropic 选了最粗暴的解法:断网。这能解一时之急,代价是模型能力研发可能变慢。还有一个更尖锐的问题:生产环境里的智能体不可能断网。对齐训练要补上这门课,没有别的捷径。