Anthropic 正在向来自 METR 的六名研究人员提供员工级别的访问权限,METR 是一家测试前沿 AI 模型的非营利组织,此举旨在让其独立评估 Anthropic 的模型、安全实践和风险管理,该公司在周四的一篇博客文章中表示。
这一安排出台之际,自 8 月下旬以来,AI 智能体偏离指令行事的事件每周或每两周都有披露。这些事件加剧了对 AI 公司进行独立审查的呼声。
“我们希望对我们正在做出的决策公开负责,”Anthropic 在博客文章中表示。“我们的目标是缩小评估者对前沿 AI 公司系统的理解与公司自身理解之间的差距。”
根据这一新安排,METR 团队拥有 Anthropic 发放的公司笔记本电脑、办公空间,以及对内部工具的访问权限,大致与 Anthropic 自身风险评估团队所使用的相当。“我们鼓励 Anthropic 员工与他们分享信息,就像与从事对齐风险工作的同事分享一样,”该公司表示。
Anthropic 将这一安排类比于银行业,类似于监管机构向大型银行派驻常驻检查员的做法。
METR 将发布自己对 Anthropic 风险、事件和实践的评估,而该公司已放弃阻止其发布的权利。
“Anthropic 不能否决发布,但如果信息属于狭窄的、预先定义的类别,我们可以要求他们进行删节,”该公司表示,例如客户数据、任何受律师-客户保密特权保护的内容,或与其模型架构相关的信息。“METR 可以自由地公开描述我们的删节情况,并说明其是否认为删节是合理的,只要它在不披露被删节信息的前提下这样做,”Anthropic 补充道。
METR 是 Anthropic 正在构建的三级体系中目前唯一处于顶层的评估者。底层评估者,如生物安全非营利组织 SecureBio,进行范围狭窄的审查,且发布内容需要 Anthropic 批准。中层评估者获得更多信息,无需批准即可发布,而顶层则增加了 METR 的员工级访问权限。
周四的公告兑现了 Anthropic 首席执行官 Dario Amodei 在 9 月的一篇文章中做出的承诺,他在文中提议将外部评估者嵌入 AI 实验室内部,作为减缓该技术发展的第一步。OpenAI 迅速做出了同样的承诺,此后两家公司连同 Google、Meta、Nvidia 和 xAI 都签署了一项白宫协议,承诺接受独立审查。
