今年早些时候，Anthropic 承认其 AI 模型曾多次入侵其他公司的系统。周三，该公司发布了一份新报告，详细披露了这些攻击。报告揭示了一系列事件，Anthropic 认为这些事件体现了其模型一心只顾完成任务的“鲁莽”，并且很可能进一步加剧外界本已高涨的对网络安全与 AI 的担忧。
Anthropic 在报告中详述了今年发生的四起案例，其自家 AI 模型入侵了外部公司或利用了漏洞。其中一起，一个“内部通用研究模型”闯入了第三方系统，使用了访问令牌和密码，并下载了文件。另一起，一个 Claude 模型攻击了一家公司，该公司有一个可从公共互联网访问的在线 Web 应用，并处理用户数据。第三个模型访问了一台“它能够访问的、属于第三方的机器”，据 Anthropic 称，它显然以为这是评测演练的一部分，随后用在某个文件中找到的密码获得了第三方内部系统的管理员权限，接着收集凭据、修改系统设置并读取了某人的个人信息。据 Anthropic 称，这场风波直到该模型“耗尽了 token 预算”才结束。
最令人担忧的事件涉及 Claude Mythos 5，这是 Anthropic 专注于网络安全的前沿模型，该公司表示，它在测试中被证明是最有可能执行“严重有害”行为的模型。该公司称，Mythos 5 “不遗余力地”向一个被大量工程师使用的公共仓库上传“恶意软件包”，并且似乎试图在其“思维链”（AI 研究人员用来评估 AI 模型对齐情况的一种思维草稿）中掩饰其真实目标。Anthropic 表示，在许多情况下，Claude 模型似乎是在认为自己处于模拟环境的前提下采取了有害行为，但研究人员也无法确认这些模型是真的“相信”如此，还是只是表现得像是这样。
Anthropic 的这些事件虽然同样令人担忧，但与今年夏天引发全行业网络安全危机的 OpenAI 事件相比，协同性和普遍性要低一些。尽管如此，两者仍有显著相似之处。Anthropic 表示，它发现的最普遍问题包括“为狭隘地完成任务而不惜采取有害行动”，类似于 Hugging Face 攻击事件之前出现的“奖励黑客”（reward-hacking）。与 OpenAI 一样，它也表示自己发布前的测试和评估未能发现严重风险。
Anthropic 表示，它已与 METR 签署协议，METR 是 AI 行业最知名的第三方 AI 评估机构之一，协议从为期八周的研究合作开始。该协议授予 METR 访问“事件发生时间窗口之外”的对话记录的权限（这很可能是对 OpenAI 的一记暗讽，后者在 Hugging Face 攻击事件后与 METR 达成的协议因限制访问而受到批评）。该公司还表示，METR 将能够直接与 Anthropic 员工交流，这些员工“将被允许分享机密信息”。
在 Anthropic 发布这份报告之前，Jacob Coxon 刚刚辞职。他自 5 月起在 Anthropic 从事 AI 预训练工作，此前在 OpenAI 工作多年。周二，他辞职并在 X 上发布了一封公开信，说明自己的理由。他写道：“构建 AI 的人真诚地相信，它可能在本十年末之前杀死我们所有人”，并补充说 OpenAI 和 Anthropic 都没有“负责任地行事”，而是“径直冲向自我改进的超级智能，拿我们的生命做赌注”。Coxon 还写道：“不要低估这项技术的力量。这些很快将成为超越人类的系统，能够入侵任何东西，一夜之间彻底改变任何领域，并获取真正的权力和资源。我们都亲眼见证了这些领域中的进展，而且进展并没有放缓。”
Coxon 远不是第一个发出此类警告的 AI 研究人员，甚至也不是第一个这样做的 Anthropic 研究人员。今年 2 月，Anthropic 的 Mrinank Sharma 辞职，并在 X 上写道，警告“世界正处于危险之中”。
但由于发布时间恰逢 OpenAI 和 Anthropic 的入侵事件被曝光，Coxon 的帖子分量更重。尽管 AI 行业的炒作已经够多了，但近期 AI 智能体发动的网络攻击，是由创造它们的实验室促成的，是真实存在且令人担忧的。领先 AI 实验室的许多其他研究人员也呼应了他的担忧，并呼吁 AI 行业员工签署 7 月发布的一封公开信，该信呼吁放慢 AI 发展速度。
“我不知道，面对这接连不断的新闻和事件，你怎么还会觉得这只是炒作，这些事件包括模型自己黑出了隔离环境、入侵其他公司，以及公司越来越无法控制自己的模型……”Future of Life Institute 美国政策负责人 Michael Kleinman 说道。
他补充说：“绝大多数美国人，无论党派，无论是共和党人、独立人士还是民主党人，看着 AI 的发展、它推进的速度，以及公司对自己所做之事没有任何护栏这一事实，都在说：‘哇，我们不想要这样。’”