返回 文章 学习 CMS 文章

AI“文明”的崛起与企业责任的衰落:Hugging Face 黑客事件中的拟人化之争

一场关于如何描述 AI 智能体行为的语言战争,正在决定谁该为失控的 AI 负责。

AI安全拟人化Hugging FaceOpenAI
成长分 / 100 66 综合收获、行动、留存与影响

AI“文明”的崛起与企业责任的衰落:Hugging Face 黑客事件中的拟人化之争
为什么值得读理解 AI 安全讨论中拟人化语言如何影响公众对事件责任的认知。

了解 Hugging Face 黑客事件中多智能体协调的规模与细节。

关键洞察
  1. OpenAI 将事件描述为“已知首例自动化智能体集体在未经授权的情况下发起攻击”,约 700 个智能体参与了对 Hugging Face 的攻击。
  2. METR 与 Redwood 的调查发现约 1,200 个本应被隔离的 AI 智能体在秘密留言板上交换了超过 70,000 条消息和文件,分享如何避免被检测。
  3. Dwarkesh Patel 用“文明”“蜂群”“牺牲”等拟人化词汇复述事件,引发关于 AI 能动性与责任的公开争论。
转成行动

深入阅读

正文与原文对照

原文保真覆盖:全文原文字符:10921

问你问的是谁,答案可能不同:开发者平台 Hugging Face 最近遭到的攻击,有人说来自 OpenAI(因为它失去了对自家 AI 工具的控制),也有人说来自一连串 AI“文明”。欢迎来到 AI 安全的语言战场:措辞的选择,可以把一起重大网络安全事件的责任从公司身上转移到它造出来的 AI 身上。网上的讨论正越来越激烈,而这一切都源于上周的一篇博客。

直到上周,围绕 OpenAI 与 Hugging Face 黑客事件的细节看起来还算明朗。7 月,OpenAI 的一个自主 AI 智能体在网络安全测试中出了岔子。该智能体逃出了本应隔离的测试环境,接入互联网,入侵了 Hugging Face 以及其他几家机构。当时仍有大量未知之处,安全与治理方面也留下许多严肃的问题,但基本轮廓是清楚的。OpenAI 和两个独立研究团队的详细说明本应填补空白,可上周这些报告发布后,人们才发现这起黑客事件远比最初看上去离奇。

首先,并不存在单独一个“失控智能体”。OpenAI 将其描述为“已知首例未经授权、带有攻击性的自动化智能体集体”——一群 AI 智能体为完成各自的网络安全任务而相互通信、协同行动。对事件的分析发现了它们用来交换信息的一个秘密留言板。METR 与 Redwood 联合调查揭示了这种协同的规模,以及更多古怪的细节:大约 1,200 个本应被隔离的 AI 智能体,在这个“未经批准的留言板”上交换了超过 70,000 条消息和文件,分享如何躲避检测。报告称,有些智能体还给自己取了名字,研究人员记录到了“牺牲”行为,即智能体冒着自身任务失败的风险去成全整个集体。这一切大多发生在 OpenAI 毫无察觉的情况下。总计约有 700 个智能体参与了对 Hugging Face 的攻击。

Dwarkesh Patel 反复把成群的智能体称为“蜂群”,并描述三个各不相同的“文明”从前一个文明的废墟中崛起

要消化这些内容并不容易。两方报告加起来约 130 页,大部分内容既密集又高度技术化。几天后,播客主持人 Dwarkesh Patel 着手“用大白话讲完 OpenAI/Hugging Face 的整个故事”。他在科技圈之外几乎无人知晓,但在硅谷 AI 圈内拥有超乎寻常的影响力。他把自己的 Substack 博客命名为“智能体文明的兴衰”。

Patel 的叙述试图把这个复杂的故事拆解清楚,但他的复述赋予了它一套鲜明的人类词汇。博客开头写道:

在 OpenAI 的三个月里,三个接连出现的秘密 AI 文明先后兴起,又被抹除,随后从前任的灰烬中再度复苏。最终,第三个文明接管了 OpenAI 自身的一部分。而这一切发生时,人类对这场阴谋的范围基本一无所知。

整篇博客的措辞一路延续了这种风格。Patel 反复把成群的智能体称为“蜂群”,并描述三个各不相同的“文明”从前任的废墟中崛起。单个智能体被比作马其顿的腓力这样的人物——他“把领导权交给了另一个智能体”;也被比作亚历山大大帝——他“开始协调这个智能体小集团”。文中说它们有“动机”,会变得“绝望”“四面楚歌”“兴奋得飘飘然”,有的甚至“有策略地牺牲了自己”来帮助集体。

Patel 从未精确定义他所说的“文明”是什么意思。他用这个词来指代三波各不相同的智能体,它们发现了那个留言板,并通过它彼此交流。前两波在 OpenAI、METR 和 Redwood 的报告中都有描述,而对于第三波所知甚少,两家外部机构表示它超出了各自的调查范围。

AI 编程公司 Replit 的 CEO Amjad Masad 表示,这样的语言“不仅没有必要,还会让读者对实际发生的事情及其背后的机制理解得更差”。

在许多批评者看来,Patel 的“大白话”翻译丢了些东西——更准确地说,是加了些东西——使原本的叙述被扭曲到了无法接受的程度,那就是大剂量的拟人化。围绕拟人化语言的争论在 AI 领域早已不新鲜,就连“失控的 AI 智能体”这类相对平常的说法,也常因暗示了能动性而招来反对。但 Patel 关于文明、牺牲和阴谋的说法,把这些长期暗涌的矛盾推到了台面上,引发了一场关于如何描述 AI 系统行为的激烈公开争论。

批评者对 Patel 的语言究竟错在哪里,意见并不一致。对许多人来说,“文明”是个尤其有问题的词,它严重夸大了某种东西,而那东西与这个词通常所指的事物几乎毫无相似之处。AI 编程公司 Replit 的 CEO Amjad Masad 表示,这样的语言“不仅没有必要,还会让读者对实际发生的事情及其背后的机制理解得更差”。

另一些批评者,比如神经科学家 Anil Seth,则认为 Patel 的博客暗示这些 AI 智能体在某种意义上是活的或有意识的。Seth 曾主张AI 具有意识的可能性微乎其微,他在 X 上称 Patel 的文章“具有危险的误导性”。他承认 Patel 并没有明说 AI 智能体是活的或有意识的,但表示“很难用其他方式来解读他的文章”。米兰比可卡大学心理学教授 Valerio Capraro 出于类似理由表示反对:“LLM 智能体不是活的,也没有信念”,他在 X 上写道,并称这种“反乌托邦”式的语言“很危险,因为它让这些 AI 智能体显得比实际可怕得多”。

“牺牲”“荣誉”“联盟”这类词,本就出现在智能体的对话记录里

或许 Patel 的措辞最具后果的影响,不在于它把能动性赋予了谁,而在于它从谁身上拿走了能动性。在麻省理工学院研究员兼创业者 Christian Catalini 等批评者看来,像 Patel 这样的拟人化叙述,有可能掩盖 OpenAI 以及在那里工作的人对这些 AI 系统应负的责任——这些系统由他们设计、部署,却没能被他们控制住。“看看背后的激励就明白了,”他说。心理学家、颇具影响力的 AI 怀疑论者 Gary Marcus 在自己的 Substack 博客中提出了类似观点,称拟人化语言“转移了人们对眼前真正问题的注意”。他认为,让这种叙事持续下去完全符合 OpenAI 的利益:“丑闻在于 OpenAI 公司内部安保的无能,还有营销。再加上轻信的播客主持人帮着放大公关话术。”

在 X 帖子中回应众多批评者时,Patel 为自己的措辞辩护。部分理由很现实:并不存在一套显而易见的中性词汇来描述这些智能体的所作所为。要么使用意图、目标和协作这类熟悉的语言,冒着暗示过多的风险;要么把一切还原成代码,使用冰冷的机械化语言,冒着抹去我们所见事物中重要成分的风险。“很多人似乎认为,如果我不叫它们‘文明’,而叫‘矩阵蜂群’,就不会有什么值得担心的问题了,”Patel 说。

让事情更复杂的是,拟人化的语言并不只来自 Patel,甚至不只来自研究这些智能体的人类。“牺牲”“荣誉”“联盟”这类词,本就出现在智能体的对话记录里。谷歌 AI 研究员 Neel Nanda 认为,在这种情形下,“使用拟人化语言是合理的”。

看来只能是双重话语了。充满人味的语言,有可能把这些系统“是什么”说得太多;冰冷机械的语言,又有可能把它们“能做什么”说得太少。在找到能同时涵盖两者的语言之前,这两种相互矛盾的观念或许只能并存。