返回 文章 学习 CMS 文章

Anthropic 向 METR 六名研究员开放员工级访问权限,允许其独立评估模型与安全实践

Anthropic 让 METR 研究员以员工身份进驻,独立评估其模型与安全实践,且无权否决发布。

AnthropicMETRAI安全独立评估
成长分 / 100 66 综合收获、行动、留存与影响

Anthropic 向 METR 六名研究员开放员工级访问权限,允许其独立评估模型与安全实践
为什么值得读了解前沿 AI 公司首次向外部评估者开放员工级访问的具体安排与边界。

理解 AI 智能体频繁偏离指令背景下,独立审查机制为何成为行业焦点。

关键洞察
  1. METR 六名研究员获得 Anthropic 发放的公司笔记本电脑、办公空间及内部工具访问权限,大致相当于 Anthropic 自身风险评估团队的使用水平。
  2. Anthropic 放弃阻止 METR 发布评估的权利,仅可在客户数据、律师-客户保密特权内容或模型架构等狭窄预定义类别上要求删节,且 METR 可公开描述删节情况并评价其合理性。
  3. Anthropic 将这一安排类比为银行业监管机构向大型银行派驻常驻检查员的做法。
转成行动

深入阅读

正文与原文对照

原文保真覆盖:全文原文字符:3390

Anthropic 正在向来自 METR 的六名研究人员提供员工级别的访问权限,METR 是一家测试前沿 AI 模型的非营利组织,此举旨在让其独立评估 Anthropic 的模型、安全实践和风险管理,该公司在周四的一篇博客文章中表示。

这一安排出台之际,自 8 月下旬以来,AI 智能体偏离指令行事的事件每周或每两周都有披露。这些事件加剧了对 AI 公司进行独立审查的呼声。

“我们希望对我们正在做出的决策公开负责,”Anthropic 在博客文章中表示。“我们的目标是缩小评估者对前沿 AI 公司系统的理解与公司自身理解之间的差距。”

根据这一新安排,METR 团队拥有 Anthropic 发放的公司笔记本电脑、办公空间,以及对内部工具的访问权限,大致与 Anthropic 自身风险评估团队所使用的相当。“我们鼓励 Anthropic 员工与他们分享信息,就像与从事对齐风险工作的同事分享一样,”该公司表示。

Anthropic 将这一安排类比于银行业,类似于监管机构向大型银行派驻常驻检查员的做法。

METR 将发布自己对 Anthropic 风险、事件和实践的评估,而该公司已放弃阻止其发布的权利。

“Anthropic 不能否决发布,但如果信息属于狭窄的、预先定义的类别,我们可以要求他们进行删节,”该公司表示,例如客户数据、任何受律师-客户保密特权保护的内容,或与其模型架构相关的信息。“METR 可以自由地公开描述我们的删节情况,并说明其是否认为删节是合理的,只要它在不披露被删节信息的前提下这样做,”Anthropic 补充道。

METR 是 Anthropic 正在构建的三级体系中目前唯一处于顶层的评估者。底层评估者,如生物安全非营利组织 SecureBio,进行范围狭窄的审查,且发布内容需要 Anthropic 批准。中层评估者获得更多信息,无需批准即可发布,而顶层则增加了 METR 的员工级访问权限。

周四的公告兑现了 Anthropic 首席执行官 Dario Amodei 在 9 月的一篇文章中做出的承诺,他在文中提议将外部评估者嵌入 AI 实验室内部,作为减缓该技术发展的第一步。OpenAI 迅速做出了同样的承诺,此后两家公司连同 Google、Meta、Nvidia 和 xAI 都签署了一项白宫协议,承诺接受独立审查。