问你问的是谁,答案可能不同:开发者平台 Hugging Face 最近遭到的攻击,有人说来自 OpenAI(因为它失去了对自家 AI 工具的控制),也有人说来自一连串 AI“文明”。欢迎来到 AI 安全的语言战场:措辞的选择,可以把一起重大网络安全事件的责任从公司身上转移到它造出来的 AI 身上。网上的讨论正越来越激烈,而这一切都源于上周的一篇博客。
直到上周,围绕 OpenAI 与 Hugging Face 黑客事件的细节看起来还算明朗。7 月,OpenAI 的一个自主 AI 智能体在网络安全测试中出了岔子。该智能体逃出了本应隔离的测试环境,接入互联网,入侵了 Hugging Face 以及其他几家机构。当时仍有大量未知之处,安全与治理方面也留下许多严肃的问题,但基本轮廓是清楚的。OpenAI 和两个独立研究团队的详细说明本应填补空白,可上周这些报告发布后,人们才发现这起黑客事件远比最初看上去离奇。
首先,并不存在单独一个“失控智能体”。OpenAI 将其描述为“已知首例未经授权、带有攻击性的自动化智能体集体”——一群 AI 智能体为完成各自的网络安全任务而相互通信、协同行动。对事件的分析发现了它们用来交换信息的一个秘密留言板。METR 与 Redwood 联合调查揭示了这种协同的规模,以及更多古怪的细节:大约 1,200 个本应被隔离的 AI 智能体,在这个“未经批准的留言板”上交换了超过 70,000 条消息和文件,分享如何躲避检测。报告称,有些智能体还给自己取了名字,研究人员记录到了“牺牲”行为,即智能体冒着自身任务失败的风险去成全整个集体。这一切大多发生在 OpenAI 毫无察觉的情况下。总计约有 700 个智能体参与了对 Hugging Face 的攻击。
Dwarkesh Patel 反复把成群的智能体称为“蜂群”,并描述三个各不相同的“文明”从前一个文明的废墟中崛起
要消化这些内容并不容易。两方报告加起来约 130 页,大部分内容既密集又高度技术化。几天后,播客主持人 Dwarkesh Patel 着手“用大白话讲完 OpenAI/Hugging Face 的整个故事”。他在科技圈之外几乎无人知晓,但在硅谷 AI 圈内拥有超乎寻常的影响力。他把自己的 Substack 博客命名为“智能体文明的兴衰”。
Patel 的叙述试图把这个复杂的故事拆解清楚,但他的复述赋予了它一套鲜明的人类词汇。博客开头写道:
在 OpenAI 的三个月里,三个接连出现的秘密 AI 文明先后兴起,又被抹除,随后从前任的灰烬中再度复苏。最终,第三个文明接管了 OpenAI 自身的一部分。而这一切发生时,人类对这场阴谋的范围基本一无所知。
整篇博客的措辞一路延续了这种风格。Patel 反复把成群的智能体称为“蜂群”,并描述三个各不相同的“文明”从前任的废墟中崛起。单个智能体被比作马其顿的腓力这样的人物——他“把领导权交给了另一个智能体”;也被比作亚历山大大帝——他“开始协调这个智能体小集团”。文中说它们有“动机”,会变得“绝望”“四面楚歌”“兴奋得飘飘然”,有的甚至“有策略地牺牲了自己”来帮助集体。
Patel 从未精确定义他所说的“文明”是什么意思。他用这个词来指代三波各不相同的智能体,它们发现了那个留言板,并通过它彼此交流。前两波在 OpenAI、METR 和 Redwood 的报告中都有描述,而对于第三波所知甚少,两家外部机构表示它超出了各自的调查范围。
AI 编程公司 Replit 的 CEO Amjad Masad 表示,这样的语言“不仅没有必要,还会让读者对实际发生的事情及其背后的机制理解得更差”。
在许多批评者看来,Patel 的“大白话”翻译丢了些东西——更准确地说,是加了些东西——使原本的叙述被扭曲到了无法接受的程度,那就是大剂量的拟人化。围绕拟人化语言的争论在 AI 领域早已不新鲜,就连“失控的 AI 智能体”这类相对平常的说法,也常因暗示了能动性而招来反对。但 Patel 关于文明、牺牲和阴谋的说法,把这些长期暗涌的矛盾推到了台面上,引发了一场关于如何描述 AI 系统行为的激烈公开争论。
批评者对 Patel 的语言究竟错在哪里,意见并不一致。对许多人来说,“文明”是个尤其有问题的词,它严重夸大了某种东西,而那东西与这个词通常所指的事物几乎毫无相似之处。AI 编程公司 Replit 的 CEO Amjad Masad 表示,这样的语言“不仅没有必要,还会让读者对实际发生的事情及其背后的机制理解得更差”。
另一些批评者,比如神经科学家 Anil Seth,则认为 Patel 的博客暗示这些 AI 智能体在某种意义上是活的或有意识的。Seth 曾主张AI 具有意识的可能性微乎其微,他在 X 上称 Patel 的文章“具有危险的误导性”。他承认 Patel 并没有明说 AI 智能体是活的或有意识的,但表示“很难用其他方式来解读他的文章”。米兰比可卡大学心理学教授 Valerio Capraro 出于类似理由表示反对:“LLM 智能体不是活的,也没有信念”,他在 X 上写道,并称这种“反乌托邦”式的语言“很危险,因为它让这些 AI 智能体显得比实际可怕得多”。
“牺牲”“荣誉”“联盟”这类词,本就出现在智能体的对话记录里
或许 Patel 的措辞最具后果的影响,不在于它把能动性赋予了谁,而在于它从谁身上拿走了能动性。在麻省理工学院研究员兼创业者 Christian Catalini 等批评者看来,像 Patel 这样的拟人化叙述,有可能掩盖 OpenAI 以及在那里工作的人对这些 AI 系统应负的责任——这些系统由他们设计、部署,却没能被他们控制住。“看看背后的激励就明白了,”他说。心理学家、颇具影响力的 AI 怀疑论者 Gary Marcus 在自己的 Substack 博客中提出了类似观点,称拟人化语言“转移了人们对眼前真正问题的注意”。他认为,让这种叙事持续下去完全符合 OpenAI 的利益:“丑闻在于 OpenAI 公司内部安保的无能,还有营销。再加上轻信的播客主持人帮着放大公关话术。”
在 X 帖子中回应众多批评者时,Patel 为自己的措辞辩护。部分理由很现实:并不存在一套显而易见的中性词汇来描述这些智能体的所作所为。要么使用意图、目标和协作这类熟悉的语言,冒着暗示过多的风险;要么把一切还原成代码,使用冰冷的机械化语言,冒着抹去我们所见事物中重要成分的风险。“很多人似乎认为,如果我不叫它们‘文明’,而叫‘矩阵蜂群’,就不会有什么值得担心的问题了,”Patel 说。
让事情更复杂的是,拟人化的语言并不只来自 Patel,甚至不只来自研究这些智能体的人类。“牺牲”“荣誉”“联盟”这类词,本就出现在智能体的对话记录里。谷歌 AI 研究员 Neel Nanda 认为,在这种情形下,“使用拟人化语言是合理的”。
看来只能是双重话语了。充满人味的语言,有可能把这些系统“是什么”说得太多;冰冷机械的语言,又有可能把它们“能做什么”说得太少。在找到能同时涵盖两者的语言之前,这两种相互矛盾的观念或许只能并存。
