▶ https://playlist.megaphone.fm?e=TCML1714869358
在 Apple Podcasts 收听 在 Spotify 收听
AI 行业似乎正在展开迄今最激烈的一场争论：这项技术是否会对人类构成生存威胁。
这轮讨论的起因是，AI 研究员 Jacob Coxon 表示他已从 Anthropic 辞职，因为他担心领先的 AI 公司是在“拿我们的生命做赌注”。随后，Anthropic 的对齐负责人发帖表态：“我们确实真诚地相信，AI 可能杀死全人类！”并补充说，他个人认为这种可能性“在未来十年内>10%”。
在最新一期 TechCrunch 的 Equity 播客中，Kirsten Korosec、Sean O’Kane 和我讨论了这些最新的末日警告。我试图说明自己为什么对许多 AI 末日论叙事持怀疑态度，而 Kirsten 则问，这是不是“只是一种古怪的炫耀方式，用来显示自家公司的 AI 模型有多先进”，尤其是在这些公司准备上市之际。
Sean 则好奇这些担忧会如何体现在 Anthropic 为 IPO 提交的 S-1 文件中：“现在是不是有初级律师正在逐条改写 S-1 文件的整个那一部分，写成‘Anthropic 的正式立场是，我们有超过 10% 的可能开发出会消灭全人类的东西，这会对我们的业务造成重大不利影响’？”
请继续阅读我们对话的节选，内容经过删节和润色。（注：我们录制这期节目时，Anthropic CEO Dario Amodei 尚未发布他的更审慎的 AI 发展计划。）
Sean：我很难想到还有什么事情传播得这么快。这记警钟不仅来自这位也曾在 OpenAI 工作过的年轻研究员，而且立刻被 Anthropic 的对齐负责人在 X 上转发——他转发了 Coxon 的帖子和长串推文，并说：“我们确实真诚地相信，AI 可能杀死全人类！”后面还跟了个感叹号！这也许会成为史上最用错地方的感叹号之一。
这种氛围真是古怪。这等于给本已紧张的帖子或系列帖子浇上了一大桶助燃剂。此前先有 OpenAI 内部模型对 Hugging Face 的入侵事件，再加上 Anthropic 以及几周前 OpenAI 的 Astra 等最新模型所展现的能力提升，我觉得时机恰好把这位年轻研究员的发言变成了一桶火药。
Anthony：我想稍微反驳一下，如果你相信 AI 能毁灭全人类，那确实值得加个感叹号。我认为这个感叹号用得完全恰当！
我对那条推文的问题更多在于“我们”。这里的“我们”是谁？我们在多大程度上可以把 AI 界或 AI 研究界当作一个整体来谈？还有那个“超过 10%”的概率，那只是一个编出来的数字，没有任何意义。科技行业和其他领域有时有这种习惯，随口抛出这些百分比，既没有依据，也不是算出来的。[事后我意识到，这条推文可能指的是 P(doom) 这个概念，但我仍然觉得很傻。]
关于 Coxon 的声明和决定，我想说一点——Equity 上有个反复出现的话题：每当 Sam Altman 或 Dario Amodei 这样的人讲末日论叙事时，总会有这样一种质疑：那你为什么还要做你正在做的事？如果你真的相信[AI 能毁灭人类]，你就不会继续做下去。
[而]这次是有人真正用自己的职业轨迹践行了自己的话。他实际上是在说：“我认为这真的、真的、真的非常糟糕，我不想再继续做下去了。”所以，不管怎样，他有勇气这样做，值得称赞。
Kirsten：是的，我把他和其他说这类话、谈论危险的人归为不同的阵营。
我要戴上猜测的帽子，因为我想问你们两位一个问题：每次我们看到越来越多的博客文章，讲述其 AI 智能体又一次意外突破限制的事件，或者谈论人类面临风险，这会不会是一种古怪的炫耀方式，用来显示他们公司的 AI 模型有多先进？
我是说，这听起来很愤世嫉俗，但它确实达到了这个目的。也就是说：如果这些 AI 模型不先进、没有能力、没有突破，我们就不必担心这些事，对吧？这是一种非常古怪的方式，来夸耀你们自己公司里打造出的模型有多强。
Anthony：我肯定也想过这个问题。我不认为这完全是愤世嫉俗，也就是说，我不觉得这全都是一场处处有意为之的营销手段。我认为当这些人中的许多人——无论是研究员还是 CEO——谈论这件事时，他们确实有真实的担忧。
但当然，说“哇，我们造出了有史以来最致命的软件”，在很多方面确实符合[他们的]商业利益。我不想在这里过度做心理分析，但也有人指出，在个人层面存在这样一种诱惑：当然，你会希望相信自己所做的事情是世界上最重要、最危险的事情。
Sean：我想到这个问题时，脑海里首先浮现的是，确实有某个因素让人觉得，“好吧，我们在做的这件事能力如此之强，这在某种程度上对我们有利，即使从很多角度看起来很糟糕。”
我觉得最近这几个例子的不同之处在于，它确实让你觉得这些公司在某些方面并没有掌控好这些东西，尤其是 OpenAI 的那些事。
我们不断看到更多报道，说其他内部智能体访问了网上的各种 wiki，并且在互相留言，而且 OpenAI 的处理方式看起来并不够称职。如果这一切完全是为了让人们相信“天哪，他们造出了能力如此惊人的东西”，我想这个故事讲得会更精致一些。
另一件我觉得特别有意思的事是，我们离看到 Anthropic 为 IPO 提交 S-1 文件，最多也就几周，而距离可能的 IPO 也就再多几周或一两个月。
而在 IPO 之前就用这么明确的语言说出这些话——我非常想知道这对整个流程意味着什么。这类内容有多少已经写进了 S-1 以及该文件里的风险因素中？现在是不是有初级律师正在逐条改写 S-1 文件的整个那一部分，写成“Anthropic 的正式立场是，我们有超过 10% 的可能开发出会消灭全人类的东西，这会对我们的业务造成重大不利影响”？
Kirsten：你是假设里面还没写。
Sean：我说的就是这个：是已经写在里面、现在只是改改措辞？还是真的在手忙脚乱地补？里面肯定早就有相关表述。这也是我特别渴望读这份文件的原因之一，在某些方面甚至比 SpaceX 的 [S-1] 还要期待，因为我敢肯定里面会有一些专门针对这些观点的内容，值得一看。
Kirsten：问题在于：在传统的投资环境里，人们可能会认为这样的措辞会损害公司的估值，因为它突然变得危险了。但我们并不生活在正常的时代。
所以回到我的观点，这最终可能在估值上变成对公司有利的一种古怪炫耀。这和我们去年看到的那种“博取愤怒”的潮流不完全一样，但可以说处在同一个领域里，在这个领域里，某样东西的强大、能力，甚至危险的成分，都等同于高估值。所以我想几周后就知道了。
先把这个放一放，对此有什么应对措施吗？我们能控制吗？一家名为 ControlAI 的非营利组织的美国执行董事 Connor Leahy 本周上了我们的节目，谈到了这个问题。那么，在如何控制 AI 的危险方面，你们关注什么，还是说我们已经束手无策，只能眼睁睁看着一切发生？
Anthony：我自己不一定有很好的答案，但我一直在思考这场争论的某些方面，以及我为什么会有现在这样的反应。
呼应 Sean 的一个观点，我确实认为，这在一定程度上反映出这些大型 AI 公司觉得自己已经不再真正掌控这些模型。这绝对不是好事，是我们所有人都应该担心的事情。
我之所以对末日论叙事持怀疑或抵触态度，部分原因在于它走到了一种歇斯底里的程度，“哇，这可能在未来 10 年内毁灭人类”。这在一定程度上分散了人们对 AI 更迫在眉睫的危害的注意力，无论是与劳动相关的，还是与环境和气候相关的。
理想情况下，我认为我们应该能够讨论所有这些问题，并针对所有这些问题[包括 AI 的生存威胁]建立监管和其他形式的保障措施。但一旦你开始使用 AGI 和超级智能之类的说法，它就会吸走房间里所有的氧气，而这并没有什么帮助。