OpenAI CEO Sam Altman、Anthropic CEO Dario Amodei、Google DeepMind 联合创始人 Demis Hassabis 和 SpaceX 掌门人 Elon Musk 在上周末大致同意放缓 AI 发展，怀疑者立刻嗅到了别有用心的味道。这几位 AI 巨头宣称他们的目标是“放缓前沿的步伐”，并至少部分地签署了一项提案，内容包括引入第三方审计机构、监管本国实验室，以及达成全球放缓协议。然而批评者认为，他们只是想阻止潜在的竞争对手、削弱开源运动，并回避真正的法律保障，有人干脆称之为“卡特尔”。
业内多位消息人士称，真相要复杂得多。Amodei 在文章中提出的三步方案，呼吁的是 AI 安全倡导者长期主张的变革。它固然可能成为监管的替代品，但在 Trump 治下，实质性的监管本来就不太可能出台。不过专家表示，在这个只会越来越重要的议题上，AI 领袖并不是带头冲锋的最佳人选。
“整个行业需要新的旗手，”纽约大学兼职教授、美国国土安全部前新兴技术政策主任 Nick Reese 说。“我们一直把 Dario Amodei、Sam Altman、Elon Musk 这样的人看作最接近问题、每天都在做这件事的人，认为他们最了解情况。但事实是，对于我们正在朝什么方向构建，从来就没有过一个现实的愿景。”
“整个行业需要新的旗手。”
对 AI 进展的担忧已经持续升温数月，起因主要是有消息披露，成群的智能体（agent）正在前沿实验室 Anthropic 和 OpenAI 眼皮底下发动失控的黑客攻击。两家公司的报告火上浇油，Anthropic 研究员 Jacob Coxon 的辞职也是如此，他发布了一封公开信解释自己的选择。“构建 AI 的人真诚地相信，它可能在本十年末杀死我们所有人，”他写道，并补充说 OpenAI 和 Anthropic 都没有“负责任地行事”，而是“径直冲向能自我改进的超级智能，拿我们的生命做赌注”。
对 AI 的严厉警告在业内并不新鲜，但 Coxon 的信似乎冲破了圈层。仅在 X 上它就被浏览了超过 1.7 亿次，Coxon 和他的故事也出现在报纸和电视上。
然而对相当一部分 AI 安全研究人员和 AI 非营利组织的工作者来说，这只是让一个本就被广泛讨论的议题获得了更多关注。“很多人觉得这是 Dario 的主意，或者来自 CEO 们，但这是错的，”前 OpenAI 员工、现任 AI 研究非营利组织 AI Futures Project 负责人的 Daniel Kokotajlo 说。“公司外的人多年来一直在呼吁这件事……一直有越来越多的声音在说：‘请不要这么快构建超级智能。我们还没准备好。你们需要放慢速度。’”
Kokotajlo 说，多年来人们一直在“冲他们喊着要这么做”，其中包括 7 月有 1000 多名 AI 实验室员工在 OpenAI-Hugging Face 事件后签署的一封公开信，呼吁放缓 AI 发展，如今这些 CEO“在这种压力下低头了，还把功劳揽到自己头上，[尽管]并不应得”。
总体而言，几位消息人士告诉 The Verge，他们认为 AI 领袖们达成的口头协议是朝正确方向迈出的一步。纽约大学的 Reese 说他“不认为这全是空话”。Apollo Research CEO Marius Hobbhahn 称这是“一个好主意”，并表示“如果真的实现，这将是很长时间以来对安全最有利的事情之一”。The Midas Project 的 Tyler Johnston 说这是“好兆头”。Redwood Research CEO Buck Shlegeris 说这是“一些好消息——显然很难判断它是否会转化为实质性的东西，但我保持谨慎乐观”。不过，所有人都同意，要让这一口头承诺成为现实还有很多工作要做，尤其是要把它变成一份铁板钉钉的协议。
“如果真的实现，这将是很长时间以来对安全最有利的事情之一。”
许多人仍在质疑 AI 领袖们的动机。更广泛的科技行业多年来一直通过游说推行自己中意的规则，或承诺自我监管，来抢在监管之前占据主动。大型平台提出过可能对较小竞争对手打击更大的政策，却用利他的措辞来为自利的目标辩护。它们曾被指责搞“安全洗白”（safety-washing），也就是做出毫无意义的改变，给人以存在实际保障措施的假象。人们担心 AI 行业也会如此，并不奇怪，尤其是 AI 实验室的自愿安全框架多年来一直饱受批评。
几位消息人士认为，对安全洗白的担忧是有道理的。“有一种严重的担忧是，他们实际上并不会放慢速度，”Kokotajlo 说，并补充道，担心的是“他们只会请一些外部审计员，办一堆安全文书工作——其中一些确实不错——但归根结底，实际上根本不会让他们慢下多少”。
纽约大学的 Reese 把这一招比作十年前社交媒体平台的套路：当时各公司开始呼吁采取监管行动，以抢在即将出台、对其不利的法律之前。对于 AI 行业，Reese 说，“这届政府任内可能不会有重锤落下，但我认为，如果下次大选后是民主党政府，就很有可能。”
Tech Oversight Project 执行董事 Sacha Haworth 说，这类监管至关重要。她说，任何自愿框架本质上都是监管俘获，并表示“我们不该让狐狸看守鸡舍。这不是国会再次把责任外包给行业的机会。”Political Integrity Project 联合创始人 Daniel Lobo-Lewis 说，自愿性监管很可能会落得和 Meta 基本上形同虚设的 Oversight Board 一样的下场。
不过，多数人也认为，除了 AI 实验室在 Trump 政府治下同意的模型发布前审查期之外，各公司并未面临迫在眉睫的监管风险。总统 Donald Trump 周一发帖称：“AI 唯一需要的控制或‘护栏’，就是一位强大而聪明（高智商！）的总统，而美国恰恰有这样一位，绰绰有余！”他还在 Nvidia CEO Jensen Huang 于一场会议上台时给他打了电话，Trump 通过免提对台下观众说，近期对 AI 的担忧是一场“骗局”，并说“机器人不会接管世界”。
至于有人担心监管可能会拖累其他公司或开源开发者，许多业内专家告诉 The Verge，放缓的呼吁几乎都只针对以精确规模指标界定的大型前沿 AI 实验室。
在政府不会出台 AI 监管的情况下，最好的选择也许是推动各公司达成一份立即生效、可衡量、可执行的协议。例如，Kokotajlo 的 AI Futures Project 提议，AI 实验室让审计员获得其算力预算的访问权限，并承诺大幅削减用于研究的算力预算，这将减缓 AI 进展，让其他 AI 实验室得以追赶。（Amodei 的文章已经呼吁 AI 实验室允许 METR、Apollo 和 Redwood Research 等外部第三方审计机构在一定程度上嵌入其组织，并有可能对有问题的发现发出警示并予以揭发。）
“如果我注定要死在杀手 AI 手里，我希望它是美国的，而不是中国的。”
可以说，放缓 AI 面临的最大挑战，一个词就能概括：中国。
AI 领袖和政界人士长期以来都把中国当作美国 AI 进展不能放缓的理由，因为无论这项技术可能变得多危险，他们都宁愿它掌握在美国人而不是中国人手里，而且中国不会踩刹车。Lobo-Lewis 把对中国的恐惧比作冷战时期的导弹差距。一位 X 用户写道：“如果我注定要死在杀手 AI 手里，我希望它是美国的，而不是中国的。”
Redwood Research 的 Shlegeris 说，以“鲁莽”的方式推进 AI 发展，既不符合美国政府也不符合中国政府的最大利益，并补充说“这不会是前所未有的国际协调水平”。
“[人们]想当然地认为中国不会合作，”Johnston 说，并补充道：“这个问题如此严重、如此普遍，对各方来说似乎都有协调的利益，就像美国和俄罗斯当年都有利益协调核不扩散一样。”
周一，中国外交部发言人郭嘉昆确实反驳了放缓的呼吁，称其为“危言耸听”。
The Midas Project 的 Johnston 和 Redwood Research 的 Shlegeris 都表示，即使中国不合作，鼓励美国内部协调仍然至关重要。而在 Tech Oversight Project 的 Haworth 看来，放缓是一个机会，可以“让我们自己成为 AI 技术应如何开发和使用的指南针”。她认为相反的论调属于一套熟悉的套路。“每当某个行业想逃避监管时，中国就会被拿出来当作吓人的怪物。”
Kokotajlo 则干脆把现状比作他看过的一幅漫画：一车人正开着车冲下悬崖。他回忆说，对话气泡里写着类似这样的话：“太好了，我们领先中国了。”
“我们真的真诚地相信 AI 可能杀死全人类！”
近期所有恐慌背后的问题是一个称为递归自我改进（RSI）的里程碑，而从业界目前的轨迹来看，我们听到的只是警报的开端。
RSI 指的是业界一个潜在的里程碑：到那时，AI 模型可以训练、改进并创造自身的新版本，全程无需人类参与。Anthropic 曾表示，这一时刻最早可能在 2027 年初到来，OpenAI 的首席科学家本月早些时候写道，OpenAI 正在投入大量资源来实现这一目标。AI 行业的工程师和研究人员越来越担心，RSI 之前会出现一系列新的、更严重的 AI 问题，包括对整个社会影响更深的更严重网络安全事件。
Amodei 把 RSI 列为他呼吁放缓的一个主要因素：“大约从今年夏天起，AI 的进步速度就快得惊人。”他在最近的文章中写道，RSI 正“开始在整个行业出现，包括 Anthropic……如果放任不管，它可能超出我们理解和控制这些系统的能力，因此必须非常谨慎地推进，甚至根本不该推进。”Amodei 提议对 RSI 的速率实施“某种‘速度限制’”，并将其比作导弹数量上限。
Jacob Coxon 在从 Anthropic 辞职的帖子中警告说，存在“能黑进任何东西、一夜之间颠覆任何领域并获取真实权力和资源的超人类系统”。领先 AI 实验室的许多其他研究人员也附和了他的担忧。OpenAI 研究员 Jasmine Wang 写道，朝 RSI 加速冲刺“其危险性怎么强调都不为过”。前 Google DeepMind 员工 Vishal Maini 说，RSI“如今迫在眉睫，没有其他选择说得通”。
对 RSI 的恐惧很容易变得末日化。“AI 开发者相信他们的技术可能导致人类灭绝（或同样糟糕的后果），”Anthropic 研究员 Samuel Marks 在 X 上写道。“这可能在未来几年内发生。总的来说，员工资历越高，就越担忧。”Anthropic 的另一位研究员兼团队负责人 Evan Hubinger 在 X 上写道：“Jacob 说得对——我们真的真诚地相信 AI 可能杀死全人类！”（他认为未来十年内发生的概率超过 10%。）前 Google DeepMind 员工 Alex Turner 写道：“许多研究人员相信他们正在构建的东西可能杀死地球上的所有人。思考如何阻止这件事，曾经就是我的本职工作。”
OpenAI 研究员 Micah Carroll 写道，Coxon 的看法是“跨党派的立场”，在“所有前沿 AI 公司”的研究团队中都存在，他们都认为“一切照旧的 AI 发展会带来不可接受的灾难性风险”。
“但是，”Carroll 补充说，“我们也不应该通过 hyperstition 把灾难性风险变成现实——通过有牙齿的安全要求、国际协调，以及达成共识：除非安全方面有足够进展、让我们集体有信心，否则就不去构建[人工超级智能]，这些风险是可以大大降低的。”
这种“国际协调”正是 AI 领袖和广大公众现在所呼吁的。
“就 AI 而言，我们从来没有真正理解过自己在朝什么方向前进，”纽约大学的 Reese 说。“我们一直有这样一个模糊、未定义的终点，我们并不真正理解它，却必须赶在中国之前到达。当我们连路径都不了解，甚至不了解终点线在哪里、乃至是否存在终点线时，真的很难竞速。”