在上周末发表的一篇长篇文章中，Anthropic 首席执行官 Dario Amodei 提出了一项即便在一年前也会被 AI 行业立即拒绝的提议：在所有前沿 AI 公司内部嵌入第三方评估人员，赋予他们报告安全事件、评估 AI 模型是否真正对齐，并向世界分享其未经粉饰的发现的权力。
Amodei 表示，Anthropic 将承诺给予 METR 和 Redwood Research 等独立评估机构前所未有的权限，访问公司系统。首席执行官 Sam Altman 表示，OpenAI 也将承诺采取这一做法，这标志着该行业与外部研究团体合作的方式可能发生深刻变化。
接受 TechCrunch 采访的第三方评估人员普遍对这一提议表示欢迎，但表示需要敲定细节——最好有立法支持——才能知道他们将成为真正独立的监督者，还是按照 AI 公司条件运作的供应商。
随着模型越来越擅长识别自己何时被评估，这种更深层次的访问权限变得更加重要，这增加了模型在测试期间表现良好却隐藏问题行为的风险。研究人员表示，在测试成品模型时可能会错过这些行为的线索，但通过调查其在训练过程中的表现可以发现。
“AI 公司应该能够回答一些关于其训练过程的非常基本的问题，例如：AI 在训练过程中是否曾主动试图破坏自身的对齐训练？”Apollo Research 研究主管 Alexander Meinke 告诉 TechCrunch。“这个问题的答案应该毫无疑问是否定的，而目前我们完全依赖 AI 公司自己仔细检查这一点，然后如实向公众报告。从最近的事件中我们已经看到，默认情况下，他们两者都不会做。作为嵌入式评估人员，我们实际上可以进行检查。”
历史上，AI 公司会在模型发布前不久引入外部审查人员来测试成品模型。如今，接受 TechCrunch 采访的评估人员提议，不仅让他们访问最终模型，还能访问其整个训练生命周期中的中间版本，即“检查点”。FAR.AI 首席执行官 Adam Gleave 表示，评估人员可以比较这些检查点，以确定令人担忧的行为何时出现，检查奖励模型某些行为的训练后环境，并查看评估记录和日志，以验证公司关于模型表现的声明。
Anthropic 和 OpenAI 是否以及何时计划提供这种访问权限尚不清楚。尽管 TechCrunch 多次询问，两家公司均未透露将与哪些评估人员合作、何时嵌入、将引入多少评估人员、他们具体能访问哪些系统和信息，或可以向公众披露什么。
像这样深入探究内部情况很重要，因为如果模型专门学会了如何通过安全测试，那么即使它在安全测试中表现良好，也不一定安全。Palisade Research 战略主管 John Steidley 指出了一个“关闭抵抗基准”的例子，该基准衡量 AI 在某些情况下是否会抵抗被关闭。
“如果 AI 是专门针对在该基准测试上表现出色而训练的，那就极其相关，”Steidley 说，并将其比作大众汽车的“柴油门”丑闻——在那起丑闻中，汽车被编程为识别排放测试，并在测试条件下表现出不同的性能。
Gleave 指出，有意义的访问权限可能超出模型本身，评估者可以被允许采访员工，以核查公司关于其安全实践的文档和公开描述是否与内部实际情况相符。
Amodei 确实提出了一个相当全面的方案，可能给予评估者他们认为必要的那种访问权限，包括有权“发布关于风险水平、事件、实践以及他们获得或未获得的访问权限的关键发现——不受 Anthropic 的编辑控制”。
但评估者表示，这样的体系只有在 AI 公司真正愿意交出对该流程的控制权时才会奏效。以往的独立评估努力表明，这种交出将来之不易，因为第三方常常在访问权限、时间、保密性以及他们可以公开说什么等问题上遭遇紧张关系。
Gleave 说，FAR.AI 不得不拒绝与几家前沿开发商的合同，因为这些开发商希望对评估过程拥有过多控制权，威胁到该公司的独立性。他说，默认情况下，评估者被当作普通承包商对待：受限制性保密协议和协议的约束，这些协议赋予开发商对最终可以发布的内容的很大控制权。
时间限制
还有一个问题是，审查者是否能获得足够的时间和访问权限来完成要求他们做的工作。在调查 Hugging Face 事件时，OpenAI 给了 METR 和 Redwood大约一周的现场时间进行调查，两者后来都表示，由于范围和时间的限制等原因，他们无法得出有把握的结论。
在 GPT-6 Astra 的发布前测试期间也出现了类似问题，OpenAI 将其吹捧为迄今为止对齐程度最高的模型。根据 Apollo Research 对模型卡的贡献，该公司只有三天时间来测试 Astra，这使得很难得出确定的结论。
“Apollo 认为，鉴于评估意识率较高且评估窗口有限，此处较低的不当行为率并不能为模型的对其或不对齐提供实质性证据，”该公司在其评估中写道。
这样的过往记录给评估者留下了一个基本问题：为什么这次会有所不同？
“Dario 和 Sam 完全有可能只是改变了想法，他们会对此非常开放，”Gleave 说。“但这些公司的知识产权对他们来说极其宝贵，我认为他们默认会对可以分享的内容非常谨慎。”
几位接受 TechCrunch 采访的研究人员呼吁建立一个各方都公开认可的透明框架。Steidley 表示，该框架的一部分应包含关于公司可以依赖何种审计机构的标准，以免它们通过挑选那些不合格、或对评估最令人担忧的风险不感兴趣的评估方来规避这一问题。
Safer AI 执行董事 Henry Papadatos 表示，即便有了公开框架，问题依然在于自愿性措施始终取决于公司的善意。
“理想情况下，我们会有良好的监管来强制要求这样做……因为这样一来，公司就不能在明天遭遇重大公关危机时改变主意，”Papadatos 对 TechCrunch 表示，并指出这也是推动所有公司——而不仅仅是最有意愿的公司——遵守规则的好办法。
并非所有人都已加入。迄今为止，Meta、SpaceXAI 和 Google DeepMind 尚未承诺引入第三方评估机构，尽管 DeepMind 首席执行官 Demis Hassabis 已提议另设一个行业标准机构来独立测试前沿模型。Google、OpenAI 和 Anthropic 也已私下讨论 AI 安全计划数周。
一些围绕第三方评估机构理念的法律已在形成。加州去年签署成为法律的 SB 53 要求大型前沿 AI 开发者公布安全框架并报告重大安全事件。本月签署的新法律 SB 813 建立了一个框架，用于设立州认可的、具备评估 AI 风险专业能力的“独立验证组织”。
在欧洲，欧盟《人工智能法案》要求前沿开发者开展并记录模型评估和对抗性测试，并报告严重事件。欧盟 AI 办公室也可以自行开展评估并任命独立专家。
目前，法律的范围仍不及 Amodei 所提议的内容，这使得前沿实验室在很大程度上自行决定愿意接受多少独立审查。Papadatos 表示，自愿性自我监管总比什么都没有好，但归根结底，公司不能一边要求拥有控制自身安全规则的自由，一边又要求公众相信它们会遵守这些规则。
“你不能两头都占——对外零问责，然后又说‘我就用我自己灵活的规则’，”Papadatos 说。