上周末，Anthropic CEO Dario Amodei 发表了一篇长文，提出了一项哪怕在一年前AI行业也会立刻否决的主张：在所有前沿AI公司内部嵌入第三方评估员，赋予他们上报安全事件、评估AI模型是否真正对齐、并向全世界公布其不加修饰的发现的权力。
Amodei 表示，Anthropic 将承诺让 METR 和 Redwood Research 这样的独立评估机构以前所未有的程度接触公司的系统。CEO Sam Altman 表示，OpenAI 也将承诺这一做法，这标志着业界与外部研究团体合作方式可能发生深刻变化。
接受 TechCrunch 采访的第三方评估员普遍欢迎这一提议，但他们表示，细节仍需敲定，最好还能有立法支持，这样他们才能知道自己究竟会成为真正独立的监督者，还是只是按AI公司条件行事的供应商。
随着模型越来越擅长识别自己正在被评估，这种更深入的访问权限变得愈发重要，因为模型可能在测试期间表现良好，却掩盖有问题的行为。研究人员表示，在测试成品模型时，这类行为的线索可能会被遗漏，但通过调查模型在整个训练过程中的表现却可能被发现。
“AI公司应该能够回答一些关于其训练过程的非常基本的问题，比如：AI在接受训练的过程中，是否曾主动试图破坏自身的对齐训练？”Apollo Research 研究负责人 Alexander Meinke 告诉 TechCrunch。“对此的答案应当是毫不含糊的‘没有’，而现在我们完全依赖AI公司自己仔细检查，然后如实向公众报告。而从近期的事件来看，默认情况下它们两样都做不到。作为嵌入式评估员，我们就能真正去核查。”
以往，AI公司会在模型发布前不久请外部评审员测试成品模型。如今，接受 TechCrunch 采访的评估员建议，不仅要让他们接触最终模型，还要让他们接触模型整个训练生命周期中的中间版本，即“检查点（checkpoint）”。FAR.AI 的 CEO Adam Gleave 表示，评估员可以对比这些检查点，判断令人担忧的行为是何时出现的，检查奖励模型特定行为的后训练环境，并查看评估记录和日志，以核实公司关于模型表现的说法。
Anthropic 和 OpenAI 是否以及何时打算提供这种级别的访问权限，目前尚不清楚。尽管 TechCrunch 反复询问，两家公司都没有透露将与哪些评估机构合作、何时嵌入、引入多少家，也没有说明评估员究竟能访问哪些系统和信息，或者哪些内容可以向公众披露。
像这样深入内部查看之所以重要，是因为在安全测试中表现良好的模型，如果是专门学会了如何通过该测试，就不一定是安全的。Palisade Research 的幕僚长 John Steidley 举了一个“抵抗关机基准测试”的例子，该测试用于衡量AI在某些情形下是否会抵抗被关闭。
“如果AI是专门为在这个基准测试上表现出色而训练的，那这一点就非常关键，”Steidley 说，并将其比作大众汽车的“柴油门”丑闻——当时汽车被编程为能识别排放测试，并在测试条件下表现得与平时不同。
Gleave 指出，有意义的访问权限还可以超出模型本身，包括让评估员采访员工，以核对公司关于其安全实践的文档和公开描述是否与内部实际情况相符。
Amodei 确实勾勒出了一套相当全面的方案，可能给予评估员他们认为必要的那种访问权限，其中包括有权“发布关于风险水平、事件、实践以及他们获得或未获得的访问权限的关键发现，而不受 Anthropic 的编辑控制”。
但评估员表示，只有AI公司真正愿意交出对这一过程的控制权，这样的制度才行得通。以往独立评估的尝试表明，这种让步很难争取到，因为第三方常常在访问权限、时间、保密性以及能公开说什么等问题上与公司产生摩擦。
Gleave 表示，FAR.AI 曾不得不拒绝几家前沿开发商的合同，因为对方想对评估过程施加过多控制，威胁到该机构的独立性。他说，默认情况下，评估员被当作普通承包商对待：受限制性保密协议和各类协议约束，这些协议让开发商对最终能发布什么拥有很大的控制权。
时间限制
另一个问题是，评审员能否获得足够的时间和访问权限来完成被要求的工作。在调查 Hugging Face 事件时，OpenAI 让 METR 和 Redwood 在现场调查了大约一周，两家机构后来都表示，部分由于范围和时间的限制，它们无法得出有把握的结论。
GPT-6 Astra 的发布前测试中也出现了类似的问题，OpenAI 曾宣称它是迄今对齐程度最高的模型。根据 Apollo Research 在模型卡中的部分，该机构只获得了三天时间来测试 Astra，因此很难得出确切结论。
“Apollo 认为，鉴于评估意识（eval awareness）的比例较高且评估窗口有限，这里较低的不当行为比例并不能为模型的对齐或未对齐提供实质性证据，”该机构在其评估报告中写道。
这样的过往记录给评估员留下了一个基本问题：为什么这一次会不同？
“Dario 和 Sam 完全有可能只是改变了想法，并且会对此非常公开，”Gleave 说。“但这些公司的知识产权对它们来说极其宝贵，我认为它们默认还是会对可以分享的内容非常谨慎。”
接受 TechCrunch 采访的几位研究人员呼吁建立一个他们都公开认可的透明框架。Steidley 表示，框架的一部分应包括公司可以依赖哪类审计员的标准，以免公司通过挑选不具资质、或对评估最令人担忧的风险不感兴趣的评估员来回避问题。
Safer AI 执行董事 Henry Papadatos 表示，即便有公开框架，问题在于自愿性措施始终取决于公司的善意。
“理想情况下，我们应该有良好的监管来强制要求这一点……因为这样一来，公司就不能在明天遇到重大公关危机时改变主意，”Papadatos 告诉 TechCrunch，并指出这也是推动所有公司（而不仅是最愿意配合的公司）遵守规则的好办法。
并非所有公司都已表态加入。到目前为止，Meta、SpaceXAI 和 Google DeepMind 尚未承诺嵌入第三方评估员，不过 DeepMind CEO Demis Hassabis 曾提议设立一个独立的行业标准机构，对前沿模型进行独立测试。此外，Google、OpenAI 和 Anthropic 已私下讨论AI安全方案数周。
一些法律已经围绕第三方评估员的理念逐步成形。去年签署成法的加州 SB 53 要求大型前沿AI开发商发布安全框架并报告重大安全事件。本月签署的新法 SB 813 则为州认可的、具备评估AI风险专业能力的“独立验证机构”建立了框架。
在欧洲，欧盟《AI法案》要求前沿开发商开展并记录模型评估和对抗性测试，并报告严重事件。欧盟AI办公室也可以自行开展评估并任命独立专家。
目前，法律的范围仍不及 Amodei 所提议的那样广泛，这使得前沿实验室在很大程度上自行决定接受多少独立审查。Papadatos 表示，自愿性的自我监管总比没有好，但归根结底，公司不能一边要求掌控自身安全规则的自由，一边又要求公众相信它们在遵守这些规则。
“你不能两头都占：对外部毫无问责，却说‘我只要有我自己灵活的规则’，”Papadatos 说。
更正：本文此前版本中 John Steidley 的职务有误。我们对此错误深表歉意。