返回 文章 学习 CMS 文章

Google DeepMind 成立研究所,推动 AGI 辩论走向具体治理

DeepMind 新研究所用四篇文章把 AGI 讨论从口号拉进治理细节。

AGIDeepMindAI治理AI安全
成长分 / 100 72 综合收获、行动、留存与影响

Google DeepMind 成立研究所,推动 AGI 辩论走向具体治理
为什么值得读了解 Google DeepMind 在 AGI 治理上的最新机构化动作与首批议题。

获取关于推理透明度、前沿模型评估框架等具体政策提案的一手信息。

关键洞察
  1. DeepMind 研究所由 Shane Legg 任执行主编,Demis Hassabis、James Manyika 等任董事,旨在呈现谷歌与全球研究界在 AGI 问题上的不同观点。
  2. 首批四篇文章覆盖 AGI 经济政策、保留人类可读的模型推理、人类繁荣原则、前沿 AI 模型评估框架。
  3. Rohin Shah 与 Anca Dragan 认为 AI 透明度窗口缩小并非不可避免,建议限制“不透明串行深度”或要求开发者证明低透明度系统仍可被监控。
转成行动

深入阅读

正文与原文对照

原文保真覆盖:全文原文字符:3101

Google 和 Google DeepMind 的研究者周三成立了 DeepMind Institute,以推进围绕通用人工智能(AGI)的讨论。该研究所列出的董事包括 DeepMind 联合创始人 Shane Legg、Google 高管 James Manyika 和 Google DeepMind 董事长 Demis Hassabis,由 Legg 担任主编。

这家新研究所旨在呈现 Google、Google DeepMind 与更广泛的全球研究界在 AGI 问题上的不同观点。“他们不会总是意见一致,而且随着快速演进的前沿出现更多数据和信息,他们很可能会改变想法。”公告中写道。

首批四篇文章涵盖多个主题:应对潜在 AGI 冲击的经济政策、保持模型推理的人类可读性、人类繁荣的原则,以及评估前沿 AI 模型的框架。

其中一篇文章由 DeepMind 安全研究者 Rohin Shah 和 Anca Dragan 撰写,认为 AI 透明度窗口(即观察和检查模型逐步推理的能力)的不断缩小并非不可避免。随着新架构让最强大的模型更难被监控,作者认为开发者和监管者应当直面其中的安全权衡。这可能意味着限制“不透明的串行深度”(即模型在不产生可读推理轨迹的情况下所能进行的连续计算量),或者要求开发者证明透明度较低的系统同样可被监控。

在另一篇文章中,Hassabis 提议成立一个由美国主导的前沿 AI 标准机构,来评估最先进的 AI 模型。按照他的框架,开发者起初将自愿在发布前最多 30 天提交模型接受审查。一旦评估体系被证明有效,通过其测试就可能成为在美国部署前沿模型的要求。

该机构起初会与 AI 公司协商设计评估,但最终会开发独立的、不公开的评估,即文章所称的“留出(held-out)”测试,以防止实验室针对已知评估去定制模型。Hassabis 说,该框架可以“在形势严峻时逐步收紧”,其中可能包括前沿 AI 开发者之间协调一致地放缓。

这些文章发表之际,行业的安全辩论正从泛泛的担忧表态,转向关于披露、外部审查的具体提案,以及在安全保障措施滞后时协调放缓的主张。本周,随着业界领袖对 Anthropic CEO Dario Amodei 要求“放缓节奏”前沿 AI 发展的呼吁中的部分内容表示支持,这一转变加速了。