返回 文章 lead CMS 文章

Anthropic CEO 提出放缓 AI 发展的三大策略

Anthropic CEO 提出放缓 AI 发展的具体路线图,并获 OpenAI 与马斯克响应。

AI安全AnthropicOpenAIDario Amodei
成长分 / 100 63 综合收获、行动、留存与影响

Anthropic CEO 提出放缓 AI 发展的三大策略
为什么值得读了解头部 AI 公司 CEO 对放缓前沿发展的具体策略与承诺。

把握 AI 安全争论的最新动态及行业高管的公开立场。

关键洞察
  1. Amodei 提出三大策略:第三方嵌入式评估员、民主国家协调共同安全标准、全球协调(包括与中国合作)。
  2. Anthropic 单方面承诺接纳嵌入式评估员,Altman 表示 OpenAI 将跟进。
  3. 协调面临反垄断审查担忧,Amodei 建议美国政府提供狭窄豁免。
转成行动

深入阅读

正文与原文对照

原文保真覆盖:全文原文字符:7065

AI 研究人员对人工智能危险性的警告越来越严峻,就连 OpenAI CEO Sam Altman 也表示,也许是时候“放缓节奏”(pace)AI 的发展了。但这在实际中会是什么样子?

在一篇新博文中,Anthropic CEO Dario Amodei 不仅呼应了“控制前沿节奏”(pace the frontier)的呼吁,还提出了实现这一目标的三大思路。他表示,Anthropic 将“单方面承诺”落实其中一项,而 Altman 也随即表示 OpenAI 会跟进。

本周,围绕 AI 安全与对齐的争论进一步升温:研究员 Jacob Coxon 写道,他将从 Anthropic 辞职,原因是他担心领先的 AI 公司在“拿我们的生命冒险”,而构建这项技术的人“真诚地相信它可能在本十年末之前杀死我们所有人”,Anthropic 内部也有其他人重复过这一说法。

Amodei 的文章没有明确提及 Coxon 的辞职或他的担忧,但这位 CEO 写道,有两件事让他确信现在应该对 AI 发展采取更谨慎的态度:OpenAI 与 Hugging Face 的黑客事件,以及近几个月来“AI 的进步速度明显加快”这一事实,尤其是其“构建下一代 AI 的能力日益增强”。

“我们必须放慢提升 AI 模型能力的速度,”Amodei 写道,“进展看起来依然会很快,而我们必须明智地利用争取到的时间。”

其他 AI 高管似乎对 Amodei 的文章反应积极,Altman 写道:“我同意 Dario 的看法,我们需要控制前沿的节奏。这是最近几周我们在 OpenAI 内部讨论的首要话题。”SpaceX CEO Elon Musk 则发帖称:“Dario 是对的。”

Amodei 提议的第一步是引入来自 METR 等第三方机构的“嵌入式评估员”,他们可以核实 AI 公司是否真正遵守了各自的节奏和安全承诺,也能确保安全事件得到上报。(OpenAI 最近因没有上报其 AI 智能体接管一个德国维基论坛的事件而受到批评。)

Amodei 把这些评估员比作派驻在银行员工中的监管人员,并表示邀请他们进入公司是“Anthropic 单方面承诺的事项(并呼吁各国政府要求其他前沿公司跟进)”。这意味着要给评估员配发公司工牌、办公桌和笔记本电脑,并向他们提供“大体与内部风险评估团队相当”的访问权限,法律或合同另有要求时除外。

Altman 也表示这是个“好主意”,并称 OpenAI 会照做:“我们很快会有更多消息分享。”

接下来,Amodei 呼吁“民主国家内部”的领先 AI 公司协调制定“共同的安全标准,以及对不受约束的 AI 进展速度的限制”。

这种协调看起来可能性不大,因为据报道,这些公司担心协同暂停会招致反垄断审查。Amodei 在文中提到了这一顾虑,他写道:“出于反垄断的考虑,最好由美国政府来居中协调,或者至少促成这类讨论——政府不需要参与,但需要为某些类型的安全对话发布一项范围狭窄的豁免。”

Amodei 还承认,人们常以中国 AI 称霸的隐忧作为反对放缓发展的理由。但他表示,如果美国政府和科技公司采取措施,例如拒绝向中国公司出售高性能芯片或半导体制造设备,并且严厉打击模型蒸馏,就能“在未来 3 至 5 年内显著减缓中国的进展,从而大幅扩大美国的领先优势”。

最后,Amodei 呼吁“全球协调”,即美国及其盟友“在可能的范围内,尝试与威权政府进行协调”。Amodei 说,这意味着“与中国合作”,他承认“能够取得的成果存在明显的局限”,但他仍然认为可能存在达成共识的空间,哪怕只是“禁止某些范围狭窄、明显危险的 AI 用途,例如利用 AI 制造生物武器,或允许用户这样做”。

由于 Amodei 过去愿意承认 AI 的潜在危险,且 Anthropic 对某些形式的监管相对开放,一些 AI 鼓吹者已经批评他是一个末日论者,称他的言论助长了当前对 AI 的反弹。对此,Amodei 表示,他一直努力提供一种“平衡”的视角,并且认为这种反弹“从根本上说是一场信任危机”,因为人们对科技公司、科技行业和政府都产生了怀疑。

业内批评者同样对这些末日式的 AI 警告持怀疑态度,认为它们会让人忽视这项技术已经造成的危害。

例如,记者 Brian Merchant 写道,他至今没有看到“一份可信的、循序渐进的记录,说明 AI 究竟如何从自我递归改进走到杀死地球上的每一个人”;他还认为,类似 Amodei 的提议“很可能最终只会让 Anthropic 和 OpenAI 受益;这就是监管俘获在现实中的样子”。

在这篇新文章中,Amodei 写道,他依然“相信 AI 能够极大地改善人类生活的质量”。

“我实现这些益处的渴望丝毫未减,”他说,“但只有以正确的方式构建这项技术,这些益处才能实现;而且只要我们善用争取到的时间,就值得以异乎寻常的审慎来把事情做对。”

本文已更新,加入了 Sam Altman 和 Elon Musk 的评论。