人工智能行业似乎正在就其技术是否对人类构成生存威胁展开迄今为止最激烈的辩论。
当前的讨论始于AI研究员雅各布·考克森表示他已从Anthropic辞职，因为他担心领先的AI公司正在“拿我们的生命赌博”。随后，Anthropic的对齐负责人也加入进来，发帖宣称：“我们确实真心相信AI可能杀死全人类！”并补充说他个人认为这一概率“在未来十年内超过10%”。
在最新一期的TechCrunch的Equity播客中，Kirsten Korosec、Sean O'Kane和我讨论了这些最新的末日警告。我试图阐明为什么我对许多AI末日论叙事持怀疑态度，而Kirsten则质疑这是否“只是一种奇怪的炫耀方式，用来展示他们公司的AI模型有多先进”，尤其是在这些公司准备上市之际。
而Sean则想知道这些担忧会如何体现在Anthropic的IPO招股说明书S-1文件中：“现在是否有初级律师正在通读并不得不重写S-1文件中的那一整节，改成‘Anthropic的官方立场是，我们开发出可能消灭全人类、并对我们的业务造成重大损害的东西的概率超过10%’？”
继续阅读以了解我们对话的预览，内容经过长度和清晰度编辑。（注：我们录制这期节目时，Anthropic CEO达里奥·阿莫代伊尚未发布他关于更谨慎AI发展的计划。）
Sean O'Kane： 我很难想到有什么事情能这么快就炸开。不仅这个警告来自这位年轻的研究员——他也曾在OpenAI工作过——而且立刻被Anthropic的对齐负责人在X上转发——他可能将因此成为史上最不合时宜的感叹号之一的使用者，他转发了考克森的帖子和推文串，并说：“我们确实真心相信AI可能杀死全人类！”感叹号！
多么奇怪的氛围。这只是在原本就令人担忧的帖子或系列帖子上又加了一大堆助燃剂。在OpenAI内部模型导致Hugging Face被黑事件之后，再加上我们看到Anthropic最新模型以及几周前OpenAI的Astra所展现出的能力提升，我认为这位年轻研究员说出这番话的时机恰到好处，就像是一个火药桶。
Anthony Ha： 只是不同意你的看法，我确实认为如果你相信AI可能毁灭全人类，那确实值得一个感叹号。我会说那是一个完全使用得当的感叹号！
我对那条推文的问题更多在于“我们”。这里的“我们”是谁？我们能在多大程度上把AI社区或AI研究社区当作一个铁板一块来谈论？而那个超过10%的概率——那只是一个编造的数字，没有任何意义。有时科技行业和其他地方都有这种习惯，就是随便抛出这些百分比，它们不基于任何东西，也不是根据任何东西计算出来的。[回想起来，我意识到那条推文可能指的是P(doom)的概念，但我仍然觉得这很愚蠢。]
关于考克森（Coxon）的声明和决定，我要说的一点是——在《Equity》节目中有一个反复出现的主题：当像山姆·奥特曼（Sam Altman）或达里奥·阿莫代伊（Dario Amodei）这样的人在讲述这种末日叙事时，总有一个元素：那么，你为什么要做你正在做的事？如果你真的相信[AI可能毁灭人类]，你就不会继续做这件事。
[而]这实际上是一个言行一致、将职业轨迹与所言相符的人。他实际上是在说：“我相信这真的、真的、真的非常糟糕，我不想再继续从事这方面的工作了。”所以，至少可以说，他有勇气这样做，值得称赞。
Kirsten Korosec： 是的，我把他和其他所有说这话、谈论危险的人归为不同阵营。
我要戴上我的推测帽子，因为我想问你们俩一个问题：有没有可能，每次我们看到越来越多的博客文章，讲述他们的某个AI代理无意中突破限制的又一起事件，或者他们谈论人类如何处于危险之中，这难道是一种奇怪的炫耀方式，用来展示他们公司的AI模型有多先进？
我的意思是，这听起来非常愤世嫉俗，但它确实达到了这个目的。那就是：如果这些AI模型不先进、没有能力、没有突破限制，我们就不必担心这些事情，对吧？这就像一种非常奇怪的方式，来吹嘘你自己公司创造的模型的能力。
Anthony： 我确实想过这个问题。我不认为这完全是愤世嫉俗的，因为我不认为这完全是一个有意识的营销策略。我认为当很多人——无论是研究人员还是CEO——谈论它时，他们确实有真正的担忧。
但当然，这在很多方面与[他们的]商业利益一致，说：“哇，我们制造了有史以来最致命的软件。”我不想在这里过于精神分析，但其他人指出，在个人层面上存在这种诱惑：当然，你想相信你正在做的事情是世界上最重要、最危险的事情。
Sean： 当我思考这个问题时，我脑海中浮现的是，肯定有一种元素让它看起来像是：“好吧，我们正在做这件如此有能力的事情，这在某种程度上对我们有好处，即使它在很多不同的角度看起来不好。”
我认为最近一些例子不同的地方在于，它真的让你感觉这些公司在某些方面无法掌控这些东西，尤其是OpenAI的事情。
我们不断看到越来越多的报道，关于其他内部代理访问了网络上的不同wiki并互相留言，而且在某种程度上，OpenAI似乎没有以胜任的方式处理这件事。我想，如果这完全是为了让人们相信“哦天哪，他们制造了如此不可思议的东西”，那么这个故事应该会被修饰得更加完美。
我认为另一件真正引人入胜的事情，特别是，我们最多还有几周就能看到Anthropic的S-1 IPO文件，再过几周或一两个月就可能进行IPO。
而且，你打算在 IPO 之前就用这种清晰的语言公开说出这些事情——我非常想知道这对那个流程意味着什么。这类内容有多少已经被他们写进了 S-1 以及那份文件里的风险因素中？现在是不是有初级律师正在逐字审阅，不得不重写 S-1 申报文件中的那一整节，写成：“Anthropic 的官方立场是，我们开发出某种可能消灭全人类、并对我们的业务造成重大不利影响的东西的概率超过 10%”？
Kirsten： 你是在假设它还没写进去。
Sean： 我就是这个意思：它是不是已经写进去了、只是在被改写？还是说这是一场真正的仓促应对？那里肯定已经有措辞了。这也是我如此渴望读到这份文件的原因之一，在某些方面甚至比读 SpaceX 的 [S-1] 还要迫切，因为我确信里面很可能有一些与这些想法具体相关的内容，读起来会很有意思。
Kirsten： 事情是这样的：在传统的投资环境中，人们可能会认为这样的措辞会损害公司的估值，因为它突然变得危险了。但我们并不生活在正常的时代。
所以，再次回到我的观点，它最终可能会成为公司在估值方面一种奇怪的、有利的炫耀。这和我们去年看到的那种整体“激怒式营销”趋势不一样，但可以说，它属于同一个范畴——在这个范畴里，某样东西的力量、能力，甚至危险元素，都等同于高估值。所以，我想我们几周后就会知道了。
先把这件事放一放，那正在采取什么措施呢？我们能控制这件事吗？一家名为 ControlAI 的非营利组织的美国执行主任 Connor Leahy，他本周上了节目，谈到了这个问题。那么，在如何控制 AI 危险方面，你在关注什么？还是说我们只能摊开双手，看着这一切展开？
Anthony： 我自己未必有一个很好的答案，但我一直在思考这场辩论的一些方面，也许还有我为什么会以这种方式回应。
呼应 Sean 的一个观点，我确实认为，这在一定程度上说明，这些主要 AI 公司觉得自己已经不再真正控制这些模型了。这绝对不是什么好事。这是我们所有人都应该担心的事情。
我确实认为，我对末日论叙事持怀疑态度、或者说抗拒末日论叙事的部分原因，是因为它达到了这种歇斯底里的程度——“哇，这东西可能在未来 10 年内毁灭人类。”这有点分散了人们对 AI 可能造成的更直接危害的注意力，无论是与劳动相关的，还是与环境、气候相关的。
理想情况下，我认为我们应该能够讨论所有这些问题，并针对所有这些问题[包括 AI 的生存性威胁]制定监管和其他类型的保障措施。但一旦你开始使用 AGI 和超级智能这样的说法，它就会以不太有帮助的方式吸走房间里所有的注意力。