OpenAI 发布有效第三方评估的优先事项与原则

前沿 AI 实验室在安全地训练、评估和部署模型方面肩负着重大责任。第三方评估是平衡这一责任的关键一环：它能扩大 AI 安全方面的意见渠道，让外界了解情况，并促使实验室对清晰、有独立支撑的安全主张负责。

作为我们引领前沿（pace the frontier）工作的一部分，OpenAI 致力于支持在训练、评估和部署各环节拥有深度访问权限的独立评估。这样的访问权限应当让评估者能够质疑我们的假设，发现我们可能遗漏的风险，并就我们安全措施的有效性得出自己的结论。

我们长期在模型开发和部署流程的各个阶段与第三方评估者合作。我们还把第三方评估纳入了 Preparedness Framework（防范框架）的实践，并支持倡导更严格、更可问责流程的组织和立法。在这些合作中，我们提供了深度的访问形式，包括有关我们技术防护措施的信息、可见的思维链访问，以及前所未有的机密数据和内部部署访问权限，用于事件响应和监控器红队测试。这里分享的优先事项和原则，聚焦于我们与私营和非营利部门独立评估机构在技术安全评估方面的合作。它们是对我们与各国政府在测试与评估方面合作的补充，后者的角色和职责各不相同，可能需要不同的方法。

要让这些评估行之有效，需要强有力的独立性机制、科学严谨性、稳健的安全实践以及清晰的职责划分。实验室有责任在保护敏感信息的同时，使有意义的审查成为可能。实验室和独立评估者共同承担把这件事做好的责任，并且应当遵循国际通行的安全与保密实践标准。下文我们提出四个值得深入评估的优先领域，以及开展严谨、安全、独立工作的原则。

评估的优先领域

第三方评估在回答具体而重要的问题时最有价值：证据是否支持实验室的安全论证和安全主张？评估是否充分检验了它们本应衡量的风险？安全措施在现实条件下是否有效？

这里所述的评估，会根据所考察的安全问题而采取不同形式。我们预计会同时支持多项评估，周期各异，有的持续数周，有的持续数月。第三方评估也可以是部署前工作的一部分，并可为部署决策提供参考，但这里所述的工作通常周期更长，且与具体发布无关，重点是随时间推移深入检验特定的安全主张。

在我们的优先领域和原则中，我们会提到安全主张和安全论证。我们对这两个术语的理解如下：

安全主张（Safety claim）：关于模型或系统的能力、行为或安全措施的具体断言，与其安全性相关，并可对照证据进行评估。一项主张应当指明它所涉及的风险和条件，以及相关的假设和局限。

安全论证（Safety case）：一套有证据支撑的结构化论证，用来说明为什么对于训练、评估或部署等特定活动，某个模型或系统的风险得到了充分管控。安全论证把各项安全主张与支撑它们的证据联系起来，并明确可能影响其结论的假设、不确定性和剩余风险。

我们提出四个值得深入评估的优先领域，以及开展严谨、安全、独立工作的原则。

1. 对安全论证的独立评估，涵盖训练、评估、内部部署和外部部署。

   评估安全论证需要在对齐、监控等控制方法、网络安全、生物与化学滥用以及红队测试等方面的专业能力。安全论证由涉及训练、能力评估和安全措施的主张构成，可以整体评估，也可以分部分评估（见下文优先事项 2 和 3）。多个评估者很可能需要凭借各自的专长，分别审查论证的不同部分。他们的评估合在一起，应当能回答如下问题：

   1. 训练、评估和部署的安全论证所依据的证据是否站得住脚？在训练、评估和部署过程中，是否遵守了安全论证的前提条件？
   2. 我们的安全论证是否涵盖了评估过程中发现的最紧迫风险？各项安全主张是否支撑整体的安全论证？是否存在缺口或可改进之处？
   3. 是否采用了有效方法，来识别并减少训练中可能奖励欺骗、奖励破解（reward hacking）、破坏性行为或绕过限制的激励？

2. 对关键安全措施的评估，涵盖内部和外部部署

   我们的安全措施体系始终在演进，以适应不断变化的能力和环境。这些措施涵盖训练、内部部署和外部部署，目前包括模型层面的防护、执行层面的防护和安全层面的防护，以及失对齐监控器，覆盖各类风险（例如失控，以及网络、生物和化学领域的滥用）。技术合作可以在当下发现安全措施的弱点，同时改进评估方法、加快标准制定，为未来引领前沿的公共政策提供更坚实的技术基础，尤其是在安全与保密标准仍处于起步阶段的内部部署方面。

   独立评估应当检验这些安全措施的有效程度及其可能的不足，例如：

   1. 在“灰盒”访问条件下，安全措施能否抵御对抗性测试（越狱），并足以防止高风险领域（如网络、生物）的能力提升？我们的对抗性测试和红队测试是否覆盖了最重要的风险？
   2. 在现实运行条件下的授权测试中，智能体如何与访问控制、沙箱以及检测与响应系统等网络防御互动？哪些防御能够阻止、发现或遏制有害行为，又在哪些地方失效？
   3. 对于内部和外部部署，我们的失对齐监控器是否存在可能导致失控或严重失对齐的关键缺口？随着模型能力提升，思维链监控作为安全或对齐证据来源的可靠性如何？
   4. 在所有相关的训练、评估和部署环节，是否实施了适当的监控，且不易被关闭？
   5. 安全措施的力度是否与能力相匹配？

3. 对涵盖 Preparedness 风险类别（化学与生物风险、网络安全、AI 自我改进）的能力评估，以及针对失对齐风险的对齐评估的评估

   我们的 Preparedness Framework 要求通过评估来考察关键的前沿风险领域。随着阈值被突破、评估趋于饱和，必须持续更新，并确保评估 Preparedness 风险领域能力的评估，以及旨在考察严重失对齐风险的对齐评估，在覆盖面和质量上都有保证。

   相关问题包括：

   1. 评估 Preparedness 风险的各项评估，是否充分覆盖了 Preparedness 风险阈值的定义？这些评估的阈值设置是否正确？
   2. 当模型持续取得最高分时，评估是否会更新？新的测试是否能有效衡量更先进的能力？
   3. 我们的对齐评估是否充分覆盖了严重失对齐风险？它们可能遗漏哪些重要的行为或条件？

4. 对关键失对齐事件的独立调查

   独立调查对一系列关键 AI 安全事件都很有价值。这里我们聚焦于模型失对齐，包括模型未经授权行动或规避监督，这类情况即使没有蓄意滥用，也可能暴露对齐方法和安全措施的弱点。

   在特定情形下，例如 OpenAI Hugging Face 事件，引入独立第三方开展失准事件调查会很有帮助。参与事件调查的第三方必须具备调查所需的专业能力，包括（视情况而定）：网络取证专长、对齐（alignment）专长、大规模思维链分析能力，以及能够及时开展调查的人员和资源。事件响应可能涉及访问敏感的内部数据和第三方数据，因此部分细节可能不宜公开或开放访问。独立调查的结论还可以为模型的安全论证提供依据：它为评估模型对齐程度的论断，以及针对既往失准问题所采取补救措施的有效性，提供了证据。

   在失准事件的情境下，我们优先考虑就以下问题开展独立评估：

   1. 事件过程中出现了哪些模型行为或失准问题，主要成因是什么？
   2. 安全防护措施和补救措施能否有效缓解未来类似的事件？

有效评估的原则

• 评估主张的范围明确且双方认可：评估应从双方一致认可的范围起步，然后明确界定安全主张，并在评估活动开始之前完成预先登记。第三方与实验室应当澄清，这些主张是被评估公司希望提交评估的主张，还是第三方评估者希望独立评估、且实验室同意接受评估的主张。有些主张可能不在范围之内，原因有很多，包括第三方无法获取数据、评估者专业能力不足，或者评估紧急时存在合理的时间限制。实验室与评估者应建立一套流程，用于考量在原定范围之外发现的重大风险，包括是否有必要进一步调查。结论应当清楚说明，在双方认可的范围内，哪些内容已评估、哪些没有。
• 对等的访问权限：在法律、安全和知识产权限制允许的范围内，评估者应获得与所议定主张相称的访问权限。如果直接访问不现实或无法实现，评估者可以与公司指定的代表合作，或探索间接的、保护隐私的访问机制，以保护底层信息。
• 方法与标准透明：评估者应说明其方法、评估标准和不确定性，并在有既定标准时加以采用。在尚无标准的领域，应清楚论证所采用标准的合理性。报告应区分直接发现与解读，说明不确定性，并明确指出哪些结论有证据支持。
• 专业能力与独立性：评估者应证明自身具备相关技术专长，并识别、披露和处理机构层面和个人层面的利益冲突，包括经济激励、与开发者的关系，以及此前参与过被评估的工作。应设计相应的保障措施，确保商业压力和报酬安排不会影响评估结论，措施可以包括回避或适当的排除期。
• 安全与保密：评估者应证明其具备信息安全实践，并对其人员落实可强制执行的保密保护，保护力度应与所接触系统和信息的敏感程度相称。这些保护应涵盖知识产权、敏感信息和评估记录。如果评估者无法在自己的环境中满足安全要求，或所访问的数据特别敏感，则可以考虑在公司管理的设备或场所内进行访问。
• 可落地的发现与整改时间：评估应指出具体的差距，并提供足够的细节，便于实验室加以解决。在适当情况下，实验室应在报告发布前有合理的时间来整改问题。在相关时，报告还应阐明对智能体开发者、部署者和防御者的经验教训，并给出可操作的实施建议。
• 负责任的发布实践：评估报告应以证据为基础，在保护敏感和机密信息的前提下尽可能公开分享。如果无法完全公开披露，可以向适当的监督机构（例如公司的治理机构或董事会）进行保密报告，以支持问责。应建立有原则的内容删减保护与政策，并就反馈和更正不准确之处形成明确预期，从而在独立性与保密性之间保持平衡。评估者应保持编辑独立性，同时确保保密和知识产权保护得到维护。评估者应采用清晰的删减政策，允许实验室要求删去敏感信息，同时评估者可以注明哪些地方进行了实质性删减，以及这对其评估报告产生的影响。

未来之路

我们致力于支持独立评估者，并通过未来的立法和私营治理机构，推动建立更清晰、共享的国际标准，以实现有效的第三方评估。独立评估生态仍在成长之中，我们将通过支持并携手在前沿安全问题上具有深厚专长的多元独立评估者群体，助力其发展。任何单一的第三方都不可能、也不应该全面覆盖紧迫的前沿安全问题。我们将审慎而有目的地行动，提升自身能力，并让不断壮大的第三方生态在最佳实践和原则上达成一致。我们正在与多家第三方就契合上述优先领域的提案进行沟通。