Google 和 Google DeepMind 的研究者周三成立了 DeepMind Institute,以推进围绕通用人工智能(AGI)的讨论。该研究所列出的董事包括 DeepMind 联合创始人 Shane Legg、Google 高管 James Manyika 和 Google DeepMind 董事长 Demis Hassabis,由 Legg 担任主编。
这家新研究所旨在呈现 Google、Google DeepMind 与更广泛的全球研究界在 AGI 问题上的不同观点。“他们不会总是意见一致,而且随着快速演进的前沿出现更多数据和信息,他们很可能会改变想法。”公告中写道。
首批四篇文章涵盖多个主题:应对潜在 AGI 冲击的经济政策、保持模型推理的人类可读性、人类繁荣的原则,以及评估前沿 AI 模型的框架。
其中一篇文章由 DeepMind 安全研究者 Rohin Shah 和 Anca Dragan 撰写,认为 AI 透明度窗口(即观察和检查模型逐步推理的能力)的不断缩小并非不可避免。随着新架构让最强大的模型更难被监控,作者认为开发者和监管者应当直面其中的安全权衡。这可能意味着限制“不透明的串行深度”(即模型在不产生可读推理轨迹的情况下所能进行的连续计算量),或者要求开发者证明透明度较低的系统同样可被监控。
在另一篇文章中,Hassabis 提议成立一个由美国主导的前沿 AI 标准机构,来评估最先进的 AI 模型。按照他的框架,开发者起初将自愿在发布前最多 30 天提交模型接受审查。一旦评估体系被证明有效,通过其测试就可能成为在美国部署前沿模型的要求。
该机构起初会与 AI 公司协商设计评估,但最终会开发独立的、不公开的评估,即文章所称的“留出(held-out)”测试,以防止实验室针对已知评估去定制模型。Hassabis 说,该框架可以“在形势严峻时逐步收紧”,其中可能包括前沿 AI 开发者之间协调一致地放缓。
这些文章发表之际,行业的安全辩论正从泛泛的担忧表态,转向关于披露、外部审查的具体提案,以及在安全保障措施滞后时协调放缓的主张。本周,随着业界领袖对 Anthropic CEO Dario Amodei 要求“放缓节奏”前沿 AI 发展的呼吁中的部分内容表示支持,这一转变加速了。
