返回 文章 学习 CMS 文章

恐惧的传染:Bryan Cantrill 谈 AI 灭绝论与专家责任

Bryan Cantrill 以亲身教训回应 AI 灭绝论,呼吁专家在发出警报时保持审慎。

AI安全专家责任公众恐慌Bryan Cantrill
成长分 / 100 62 综合收获、行动、留存与影响

为什么值得读了解 AI 安全辩论中关于‘灭绝级生物武器’等主张缺乏具体论证的批评。

从资深工程师的亲身经历中学习专家如何避免滥用公众信任。

关键洞察
  1. Jacob Coxon 的推文证实许多 Anthropic 研究人员相信 AI 可能在本十年结束前杀死所有人。
  2. Bryan Cantrill 指出 Coxon 引用的‘入侵关键基础设施’和‘灭绝级生物武器’缺乏进一步阐述,且 Coxon 并非这些领域的专家。
  3. Bryan 认为公众不应被期望理解大语言模型、关键基础设施、生物武器等复杂领域,提出主张的人应承担责任。
转成行动

深入阅读

正文与原文对照

原文保真覆盖:全文原文字符:2757

The contagion of fear(来源)Bryan Cantrill 回应了前 Anthropic 员工 Jacob Coxon 的推文,该推文证实许多 Anthropic 研究人员相信 AI“可能在本十年末杀死我们所有人”。

Bryan 讲了一个自己年少时犯错、在不太懂技术的同龄人中引发无谓恐慌的故事,并告诫人们不要重蹈覆辙:

这些骇人听闻的说法赤裸裸地冲击着人们的家园,鉴于 AI 显而易见的重要性,它们进入主流视野并不令人意外,人们也自然会问:这会怎么发生?而答案总是依赖对未来含糊其辞的外推;例如,Jacob Coxon 提到了“入侵关键基础设施”和“灭绝级生物武器”,却没有进一步说明。但 Coxon 不是关键基础设施方面的专家,也不是生物武器方面的专家——就此而言,更不是灭绝方面的专家。[...]

话虽如此,我们不该指望公众理解 LLM、关键基础设施、生物武器、灭绝生物学等等——这个责任必须由提出主张的人来承担。我几十年前(很惭愧地)学到的教训是:领域专家凭借其专业知识,隐含地拥有公众的信任——而我们决不能滥用它。我们有责任在主张上保持审慎,在拉响警报时更要尽可能审慎。

Bryan 在我参与的最近一期 Oxide and Friends 节目中谈到了他对生物武器担忧的怀疑。你可以从该期节目的 51m44s 处开始听到他更多的想法。这里是 57m04s:

我真的认为我们需要小心,因为太容易被恐惧压倒了,当我们编造出这些……比如说它能给你生物武器。这是怎么做到的?我是说,能不能请一位生物学家来谈谈这个?或者找一个有生物武器经验的人?[...] 生物武器这件事让我特别难受,因为它留下了太多想象空间,而我们用恐惧去填满了这些空间。