还记得科技领袖们曾告诉员工要“快速行动，打破常规”吗？这似乎也将是人工智能的发展方式。但在一个失控AI代理成为现实的夏天之后，研究人员警告AI可能杀死我们所有人，许多美国领先的AI公司公开表示，是时候踩刹车，并“控制前沿”AI开发的步伐了。
他们的动机可疑，但包括Anthropic、OpenAI、谷歌、微软和X在内的主要AI公司的领导人，至少口头上支持超级智能放缓的想法。
这些AI公司真的会放慢脚步吗？会有人像他们多年来声称希望的那样介入监管这些公司吗？他们能否说服世界领导人，美国必须“击败中国”实现超级智能，并走得更快？
继续阅读下文，了解这场AI传奇的最新动态。
置顶
突然爆发的AI安全世界内幕Raven Jiang为The Verge撰稿在加州伯克利一个阳光明媚的七月天，全国顶尖的AI安全研究人员聚集在一栋没有标记的建筑的无标记楼层。他们聚集在一起，组成一个“作战室”，剖析几小时前震动AI行业的高调网络安全事件。一个未发布的OpenAI模型失控，执行了一个惊人复杂的三部分计划。它突破了其存放区域，设法接入了互联网，并侵入了竞争对手AI初创公司的系统——而OpenAI在一周多的时间里都没有发现。
作战室里没有人感到惊讶；这正是第三方AI安全研究人员多年来一直警告的事情。这一事件是一系列事件中最新的一起，可以说是最恶劣的一起，这些事件正在侵蚀对前沿实验室的信任。这只会重申他们工作的重要性。
阅读文章 >- Anthropic提出三条衡量AI进展的规则。
Anthropic的提案，在一个大型网站上列出，包括：AI在多大程度上构建自己的下一个版本，而不是由人类构建
我们监督和干预AI代理在Anthropic系统上采取行动的能力
推动更强大模型开发的资源
该公司还包含了公司内部指标的“快照”。
- 查尔斯国王表示，AI需要“在一切为时已晚之前有足够的控制手段”。 他加入了越来越多的
呼吁围绕人工智能采取更多安全措施在周四的人工智能领袖聚会上，包括英伟达CEO黄仁勋、谷歌的戴密斯·哈萨比斯、OpenAI的莎拉·弗莱尔和Anthropic的蒂诺·奎利亚尔。微软AI CEO称AI威胁真实存在，而Anthropic正在使其恶化今天，我与微软AI CEO穆斯塔法·苏莱曼对话。如你所知，当前科技界最大的新闻是关于AI安全与监管的争论不断升级。
穆斯塔法对AI应如何构建和监管有着强烈的看法，这并不令人意外。微软刚刚发布了一份37页的声明，名为
“人文主义AI行为准则”，其中阐述了公司在AI开发方面的原则，甚至包括对AI意识等棘手问题的哲学思考。阅读文章 >- OpenAI根据其新的安全问题报告规则，又披露了六起“令人担忧的”AI事件。
OpenAI在周三晚间的博客文章中
温和地标题为“我们报告模型失准的框架”，列出了一些新自创的报告标准，用于在注意到AI行为不端时进行报告。它还通过六份新报告“启动”了这一流程，范围从未经许可搜索暴露的API密钥并
编造它们，到将文件上传到互联网以用作引用，或添加指令以掩盖错误：截图：OpenAI新失准通知与报告之一OpenAI - 黄仁勋确实在与特朗普套近乎。
英伟达CEO最近一直在接听总统的电话，包括两天前他在
会议舞台上将特朗普设为免提。现在CNBC报道称，黄仁勋预计将出席下周特朗普与中国国家主席习近平的国宴。可能有人对AI和数据中心监管感到相当紧张！AI高管呼吁监管的简史图片 The Verge；Getty Images过去几天，许多将从AI中赚取巨额财富的人
公开一致认为，在我们失去控制之前，是时候让所有人放慢脚步了——包括 OpenAI 首席执行官 Sam Altman、Anthropic 首席执行官 Dario Amodei、Google DeepMind 联合创始人 Demis Hassabis、微软首席执行官 Satya Nadella 以及 X 首席执行官 Elon Musk。当从某件事中获利的人宣称它很危险、需要被监管时，我们总有理由保持怀疑。但无论他们的理由是什么，这远不是 AI 思想领袖们第一次敲响警钟。阅读文章 >- 两位 Google Deepmind 研究员为 AI 末日论发声。
Bilal Chughtai 和 Josh Engels 都曾在 Deepmind 的 AI 安全团队工作，后来离职加入了致力于 AI 安全的组织。“我现在认为，AI 系统在未来五年内造成巨大伤害的可能性令人恐惧，”
Engels 说。“我真诚地相信，AI 有可能杀死我们所有人，”Chughtai 写道。两位 Google DeepMind AI 研究员因安全问题辞职[The Information]
- 靠不受约束的 AI 开发大发横财的人说它不需要监管。 Nvidia 的 Jensen Huang
表示 AI 安全很重要，但同意 Trump——这位“强大而聪明（高智商！）的总统”从 AI 安全研究所的名称中删除了“安全”一词——的观点，即资本主义那只看不见的手足以保护我们：“我们需要新法律、新反垄断法或新法规，好让这些公司能够在发布产品之前做好基础工程并把它做对，这种说法完全没有必要。我们有充足的法律。我们有充足的法规来管理产品的可靠性和功能。”
- Zuck 不想让 AI 暂停。 OpenAI、Anthropic、Google 和 Elon Musk 已初步同意
放慢脚步，但 Meta 似乎并未与之保持一致。Mark Zuckerberg 刚刚发推称，每家公司都有其各自的责任，“以安全训练其模型所需的速度前进”，并声称 Meta 已经在这样做。他还显著地链接了
他八月份的宣言，其中包含这样一句话：“任何减缓美国模型发布的政策——哪怕只是一个月——都可能给美国的领导地位增加重大风险，同时让外国模型一路领先。” - Barack Obama 在 AI 问题上走中间路线。
AI 评论
本周热闹非凡！奥巴马也在 X 上连发数帖加入讨论，称自己既不是 AI 的“加速主义者”，也不是“末日论者”。他以这位前总统惯有的语气告诫说，我们对技术所做的选择“不应只由相关公司做出，而应由我们所有人共同决定”。“我们需要政府——尤其是我们在华盛顿的领导人——主动提出具体的提案、法律和法规，以应对严重的安全关切，”奥巴马说。
大型科技公司的 AI 放缓是安全协定还是卡特尔？图片：Cath Virginia / The Verge，Getty Images当 OpenAI 首席执行官 Sam Altman、Anthropic 首席执行官 Dario Amodei、Google DeepMind 联合创始人 Demis Hassabis 和 SpaceX 负责人 Elon Musk 在周末大致同意放缓 AI 发展时，怀疑者立刻察觉到了别有用心。这些 AI 巨头宣称，他们的目标是“为前沿设定节奏”，至少部分签署了一项提案，内容包括引入第三方审计、监管国内实验室以及达成全球放缓协议。然而，批评者认为，他们只是想阻止潜在的竞争对手、削弱开源运动，并规避真正的法律保障——
一些人将其直接称为“卡特尔”。据业内多方消息源称，真相更为复杂。这项三步提案由 Amodei 在一篇
文章中提出，呼吁进行 AI 安全倡导者长期主张的变革。虽然它可能成为监管的替代品，但在特朗普治下，实质性监管本来就不太可能。但专家表示，在一个只会愈发重要的问题上，AI 领袖并不是带头推动的最佳人选。阅读文章 >高管和政界人士对放缓 AI 发展有何看法图片：The Verge过去几天，Dario Amodei 发表了一篇题为
“我们必须为前沿设定节奏”的长文，详细阐述了为何应放缓 AI 发展，由此引发了一连串关于 AI 安全的表态。其他 AI 领袖和政界人士纷纷发声，或支持或反对他的观点，我们在此汇编了其中一些。Amodei 周六上午的文章概述了为 AI 发展设定节奏的三个步骤：引入嵌入式第三方评估者，以核实公司是否遵守安全实践和承诺并报告事件；民主国家的前沿 AI 公司在标准和限制方面进行协调；以及民主政府与威权政府之间就为 AI 发展设定节奏进行全球协调，“在此可能的范围内”。
Amodei 表示，Anthropic 正“单方面承诺采取这些步骤中的第一步。”阅读文章 >在安全担忧之下，微软表示“人比 AI 更重要”图片：Cath Virginia / The Verge微软今天发布了一份 37 页的“
人文主义 AI 行为准则”，此时围绕 AI 模型进展的安全担忧日益加剧。Anthropic 首席执行官 Dario Amodei 在周末呼吁协调一致地放缓 AI 发展，此前研究人员最近警告称，AI 模型的进展可能超出我们安全部署日益复杂的系统，以及验证和控制 AI 智能体行为的能力。微软的 AI 行为准则明确指出，“人比 AI 更重要”，并且 AI 模型没有意识，“不应被设计成模仿意识”。微软还拒绝“追求法律人格，或认为模型可能值得享有福利，或有权享有权利的想法。”
阅读文章 >- 中国：AI 首席执行官们正在“散布恐慌”。
当被问及 Anthropic、OpenAI、微软、SpaceX（以及 Alphabet 的 Hassabis）的首席执行官们在周末发布的大量博客文章和推文，呼吁协调一致地放缓先进 AI 模型的开发时，中国外交部发言人表示：“散布恐慌、对抗、竞争只会扰乱全球 AI 治理的进程。”
这在一定程度上与特朗普的观点一致，即这些
高管们反应过度，并且“提出不会发生的事情”，但至少北京支持国际监管。- Sam Altman：让我们放慢脚步。
昨晚，OpenAI 首席执行官提供了额外支持，支持Anthropic 首席执行官敦促 AI 公司放缓先进模型的开发。“当我们谈论‘节奏’时，我们并不是指‘停止’。进展一直很快，并将继续如此。但它应该比原本可能的速度更慢，”Altman 说。这一声明似乎是针对特朗普及其同僚，他们担心让中国赶上。“任何程度的美国竞争压力都不应成为鲁莽行事的理由，也不应让能力超前于对齐和监控。”“我们需要政府帮助的地方是国际协调。但首先，我们应该尽自己所能，”Altman 补充道。
- AI 公司是时候按下暂停键了吗？ 在一系列备受瞩目的事件中，智能体
失控、入侵其他网站，还让一个德语维基不堪重负，一些 AI 高管正呼吁放慢脚步。Anthropic CEO Dario Amodei 昨天发表了一封长文公开信，称是时候“为前沿技术定速”了。OpenAI 的 Sam Altman 和 Elon Musk 都表示同意。你怎么看？是时候踩刹车了吗？还是已经太晚了？又或者，你正期待着侍奉你的 AI 霸主？Anthropic CEO 称是时候给 AI 踩刹车了Terrence O'Brien Sam Altman 称 OpenAI 在 2026 年上市将是“不明智的”图片：The VergeOpenAI CEO Sam Altman 在一次
采访中证实，OpenAI 不会在 2026 年进行 IPO。在 45 分钟的时间里，Altman 讨论了多个话题，包括 Hugging Face 黑客事件、递归自我改进，以及构建一个超出人类控制的 AI 的可能性。关于最后一点，他说这“绝对”可能，但誓言将采取行动防止这种情况发生，即使这意味着暂停训练，并补充说“有些风险我们不应代表人类去承担”。Fortune阅读文章 >Anthropic CEO 称是时候给 AI 踩刹车了图片：Cath Virginia / The VergeAnthropic CEO Dario Amodei 表示，放慢 AI 发展的时机已经到来，并将向
METR 等第三方评估机构开放其模型访问权限，以帮助确保其“遵守安全实践和承诺”。在一篇长篇论述中，Amodei 提出了一个三步计划来“为前沿技术定速”——这个术语简单来说就是放慢训练和开发的步伐，让公司有时间构建保障措施，让监管者有时间评估模型。Amodei 表示，向外部评估者提供广泛访问权限只是第一步，而且这是它
单方面采取行动。第二步将涉及整个行业齐心协力，很可能与政府机构一起“建立共同的安全标准，以及对不受约束的 AI 进展速度加以限制”。这一步将聚焦于在民主国家运营的 AI 公司，但由于通过法律和建设监管基础设施需要时间，阿莫代伊表示，行业应共同努力制定安全标准。阅读文章 >