当OpenAI首席执行官萨姆·奥尔特曼、Anthropic首席执行官达里奥·阿莫代伊、谷歌DeepMind联合创始人德米斯·哈萨比斯以及SpaceX负责人埃隆·马斯克在周末大致同意放缓AI发展时，怀疑论者立刻察觉到了别有用心的动机。这些AI巨头宣称他们的目标是“为前沿设定节奏”，至少部分签署了一项提案，该提案主张引入第三方审计员、监管国内实验室并达成全球放缓协议。然而，批评者认为他们只是想阻止潜在竞争对手、削弱开源运动并规避真正的法律保障——一些人将其直接称为“卡特尔”。
大型科技公司的AI放缓是安全协议还是卡特尔？
主要AI公司希望“为前沿设定节奏”——但它们提出的解决方案需要真正的约束力。
大型科技公司的AI放缓是安全协议还是卡特尔？
主要AI公司希望“为前沿设定节奏”——但它们提出的解决方案需要真正的约束力。
据业内人士透露，真相更为复杂。阿莫代伊在一篇文章中提出的三步提案，呼吁进行AI安全倡导者长期主张的变革。虽然它可能成为监管的替代品，但在特朗普执政下，实质性监管无论如何都不太可能。但专家表示，在一个只会越来越重要的问题上，AI领袖并不是领导这一行动的最佳人选。
“整个行业需要新的领军人物，”纽约大学兼职教授、国土安全部前新兴技术政策主任尼克·里斯表示。“我们曾把达里奥·阿莫代伊、萨姆·奥尔特曼和埃隆·马斯克这样的人视为最接近问题、每天都在努力解决的人，认为他们最了解情况。但事实是，对于我们要建设的目标，从来就没有一个现实的愿景。”
“整个行业需要新的领军人物。”
对AI进步的担忧已持续数月升级，主要导火索是有关大批代理在领先前沿实验室Anthropic和OpenAI眼皮底下进行恶意黑客攻击的披露。两家公司的报告火上浇油，Anthropic研究员雅各布·考克森的辞职也是如此，他发布了一封公开信解释自己的选择。“构建AI的人真诚地相信，它可能在这个十年结束前杀死我们所有人，”他写道，并补充说OpenAI和Anthropic都没有“负责任地行事”，而是“直奔自我改进的超级智能，拿我们的生命赌博”。
关于AI的可怕警告在业内并不新鲜，但考克森的信似乎突破了封锁。仅在X上，它就被浏览超过1.7亿次，而考克森和他的故事也登上了报纸和电视。
然而，对相当一部分人工智能安全研究人员和人工智能非营利组织工作者来说，这不过是在为一个早已被广泛讨论的问题吸引更多关注。“很多人把这当成达里奥的想法，或者认为它来自那些CEO，但这是错误的，”前OpenAI员工、现领导人工智能研究非营利组织AI Futures Project的丹尼尔·科科塔伊洛说。“公司之外的人多年来一直在呼吁这样做……要求‘请不要很快构建超级智能。我们还没准备好。你们需要放慢速度’的呼声日益高涨。”
科科塔伊洛表示，在人们多年来“冲他们喊话要求这样做”之后——包括1000多名人工智能实验室员工签署了7月的一封公开信，该信在OpenAI- Hugging Face事件后呼吁放缓人工智能发展——这些CEO现在“正在屈从于这种压力，同时也将其归功于自己，[尽管]这并不正当。”
总体而言，少数消息人士告诉The Verge，他们认为人工智能领袖们达成的口头协议是朝着正确方向迈出的一步。纽约大学的里斯表示，他“不认为这全是空话”。Apollo Research首席执行官马里乌斯·霍布哈恩称其为“一个好主意”，并表示“如果真能实现，这是很长一段时间以来对安全最有利的事情之一”。Midas Project的泰勒·约翰斯顿称这是一个“好迹象”。Redwood Research首席执行官巴克·什莱格里斯表示，这是“一些好消息——显然很难知道这是否会转化为任何实质性的东西，但我持谨慎乐观态度。”不过，所有人都同意，要让这一口头承诺成为现实，仍有大量工作要做，尤其是在使其成为一项铁板钉钉的协议方面。
“如果真能实现，这是很长一段时间以来对安全最有利的事情之一。”
许多人仍然质疑人工智能领袖们的动机。更大的科技行业多年来一直通过游说制定自己偏好的规则或承诺自我监管来抢先应对监管。大型平台提出的政策可能会更严重地打击较小的竞争对手，用利他主义的语言来为自私的目标辩护。它们被指责进行安全洗白，或者做出毫无意义的改变，给人以实际保障的虚假印象。人们担心这也会发生在人工智能行业，这并不奇怪，尤其是因为人工智能实验室的自愿安全框架多年来一直受到批评。
几位消息人士认为，对安全洗白的担忧是有道理的。“有一个严重的担忧，即他们实际上不会放慢速度，”科科塔伊洛说，并补充说，恐惧在于“他们只会引入一些外部审计员，做一堆安全文书工作——其中一些确实会是好的——但归根结底，这实际上根本不会让他们放慢多少。”
纽约大学的里斯将这一策略比作十年前社交媒体平台的套路，当时公司开始呼吁采取监管行动，以抢先应对即将到来的、更不利的法律。里斯说，对于人工智能行业，“锤子可能不会在本届政府落下，但我认为如果下届选举后出现民主党政府，那将非常有可能。”
Tech Oversight Project 的执行董事 Sacha Haworth 表示，这种监管将至关重要。她说，任何自愿框架本质上都是监管俘获，并且“我们不应该让狐狸来管理鸡舍。这不是国会再次将责任外包给行业的机会。”Political Integrity Project 的联合创始人 Daniel Lobo-Lewis 表示，自愿监管很可能会像 Meta 那个基本上没有牙齿的监督委员会一样无疾而终。
然而，大多数人还认为，除了 AI 实验室在特朗普政府下同意的模型发布前审查期之外，企业并不面临迫在眉睫的监管危险。特朗普总统周一发帖称，“AI 唯一需要的控制或‘护栏’是一位强大而聪明（高智商！）的总统，而美国完全拥有这一点！”他还在 Nvidia CEO 黄仁勋在会议上登台时给他打了电话——特朗普通过免提告诉人群，近期对 AI 的担忧是一场“骗局”，并且“机器人不会接管世界”。
许多行业专家告诉 The Verge，至于监管可能阻碍其他公司或开源开发者的担忧，要求放缓的呼声几乎完全针对那些以精确规模指标界定的大型前沿 AI 实验室。
在政府不会出台 AI 监管的情况下，最佳选择可能是推动企业达成一项立即、可衡量且可执行的协议。例如，Kokotajlo 的 AI Futures Project 提议 AI 实验室让审计人员访问其计算预算——并承诺大幅减少用于研究的计算预算，这将减缓 AI 进展，并让其他 AI 实验室迎头赶上。（Amodei 的文章已经呼吁 AI 实验室允许外部第三方审计机构——如 METR、Apollo 和 Redwood Research——在一定程度上嵌入其组织，并有可能标记和举报有问题的发现。）
“如果我注定要死于杀手 AI 之手，我希望它是美国的，而不是中国的。”
可以说，AI 放缓面临的最大单一挑战可以用一个词概括：中国。
AI 领导人和政客长期以来一直将中国定位为美国 AI 进展不能放缓的原因——因为无论这项技术可能变得多么危险，他们宁愿它掌握在美国手中而不是中国手中，而中国不会踩刹车。Lobo-Lewis 将中国恐惧比作冷战时期的导弹差距。一位 X 用户写道，“如果我注定要死于杀手 AI 之手，我希望它是美国的，而不是中国的。”
Redwood Research 的 Shlegeris 表示，以“鲁莽”方式追求 AI 发展既不符合美国也不符合中国政府的最佳利益，并补充说“这不会是没有先例的国际协调水平。”
“人们想当然地认为中国不会合作，”Johnston 说，并补充道，“这是一个如此严重且如此广泛的问题，似乎协调解决它符合所有人的利益，就像协调核不扩散符合美国和俄罗斯的利益一样。”
周一，中国外交部发言人郭嘉昆反驳了放缓的呼吁，称其为“散布恐惧”。
Midas Project 的 Johnston 和 Redwood Research 的 Shlegeris 都表示，即使没有中国的合作，鼓励美国协调仍然至关重要。对于 Tech Oversight Project 的 Haworth 来说，放缓提供了一个机会，“将自己定位为 AI 技术如何开发和使用的指南针”。她认为相反的论点是一套熟悉的剧本。“每当一个行业想要逃避监管时，中国就会被当作妖怪提出来。”
Kokotajlo 只是将这种情况比作他看过的一个卡通片，人们坐在车里驶下悬崖。他回忆起那个对话气泡里写着类似“万岁，我们领先于中国”的话。
“我们真的真诚地相信 AI 可能杀死所有人类！”
最近所有恐慌背后的问题是一个被称为递归自我改进的里程碑，而根据该行业当前的轨迹，我们只是听到了警钟的开始。
RSI 指的是一个潜在的行业里程碑，此时 AI 模型可以训练、进步并创建自己的新版本——所有这些都无需人类参与。Anthropic 曾表示这一时刻最早可能在 2027 年初到来，而 OpenAI 的首席科学家本月早些时候写道，OpenAI 正在投入大量资源来实现这一目标。AI 行业的工程师和研究人员越来越担心，RSI 会引发一系列新的、更严重的 AI 问题，包括更严重的网络安全事件，从而更深刻地影响整个社会。
Amodei 将 RSI 作为他呼吁放缓的一个主要因素：“自大约今年夏天以来，AI 的进步速度急剧加快。”他在最近的文章中写道，RSI“开始在整个行业发生，包括在 Anthropic……如果不加以控制，它可能会超出我们理解和控制系统的能力，因此必须非常谨慎地推进，如果真要推进的话。”Amodei 提议对 RSI 的速度实施“某种‘速度限制’”，并将其比作导弹数量的上限。
在 Jacob Coxon 从 Anthropic 的辞职帖子中，他警告说“超人类系统可以黑客攻击任何东西，在一夜之间彻底改变任何领域，并获得真正的权力和资源。”许多领先 AI 实验室的其他研究人员也附和了他的担忧。OpenAI 研究员 Jasmine Wang 写道，加速迈向 RSI 的危险性“怎么强调都不为过”。前 Google DeepMind 员工 Vishal Maini 表示，RSI“现在如此迫在眉睫，以至于没有其他选择是合理的。”
对 RSI 的恐惧很容易演变成末日论。“AI 开发者相信他们的技术可能导致人类灭绝（或类似的糟糕结果），”Anthropic 研究员 Samuel Marks 在 X 上写道，“这可能在未来几年内发生。总的来说，员工级别越高，就越担忧。”另一位 Anthropic 研究员兼团队负责人 Evan Hubinger 在 X 上写道，“Jacob 在这里说得对——我们确实真心相信 AI 可能杀死全人类！”（他认为未来十年内发生这种情况的概率超过 10%。）前 Google DeepMind 员工 Alex Turner 写道，“许多研究者相信他们正在构建某种可能杀死地球上所有人的东西。思考如何阻止这件事，字面意义上就是我的日常工作。”
OpenAI 研究员 Micah Carroll 写道，Coxon 的信念是一种“跨党派立场”，在“所有前沿 AI 公司”的研究团队中都是如此，他们都相信“照常推进 AI 开发会带来不可接受的灾难性风险”。
“但是，”Carroll 补充道，“我们也不应通过超级信念把灾难性风险凭空变成现实——这些风险可以通过有牙齿的安全要求、国际协调，以及一项共识来大幅降低：除非有足够的安全进展让我们集体有信心，否则不构建[人工超级智能]。”
这种“国际协调”正是 AI 领袖以及广大公众如今所呼吁的。
“我们从未处于这样一种境地：我们真正理解自己在 AI 方面正驶向何方，”纽约大学的 Reese 说。“我们一直有这种模糊不清、未定义的终局状态，我们并不真正理解它，但我们必须击败中国才能到达那里。当我们甚至不理解路径、甚至不理解终点线是什么——甚至不知道是否存在终点线时，赛跑真的很难。”
关注本报道中的主题和作者，以便在您的个性化主页信息流中看到更多类似内容，并接收电子邮件更新。