今天，我们发布对负责任扩展政策（Responsible Scaling Policy，RSP）的重大更新。RSP 是我们用来缓解前沿 AI 系统潜在灾难性风险的风险治理框架。此次更新引入了更灵活、更细致的方法来评估和管理 AI 风险，同时坚持我们的承诺：除非已落实足够的保障措施，否则不训练或部署模型。主要改进包括：新的能力阈值，用于表明我们何时将升级保障措施；经过完善的流程，用于评估模型能力以及保障措施是否充分（灵感来自安全论证方法）；以及内部治理和外部意见方面的新举措。通过总结实施经验，并借鉴其他高风险行业所采用的风险管理实践，我们希望为 AI 的快速发展做好更充分的准备。
先进 AI 的前景与挑战
随着前沿 AI 模型不断进步，它们有可能为我们的社会和经济带来变革性的益处。AI 可以加速科学发现、革新医疗健康、改进教育体系，并为人类的创造力与创新开辟全新的领域。然而，前沿 AI 系统也带来了新的挑战和风险，值得我们认真研究并建立有效的保障措施。
2023 年 9 月，我们发布了负责任扩展政策，这是一个用于管理日益强大的 AI 系统所带来风险的框架。经过一年的实施和学习，我们现在分享一个大幅更新的版本，它体现了实践中的洞察，并考虑到了技术能力的不断进步。
尽管这项政策关注的是灾难性风险，例如下面列出的几类，但它们并不是我们监测和防范的唯一风险。我们的使用政策规定了产品使用的标准，包括禁止利用我们的模型传播虚假信息、煽动暴力或仇恨行为，或从事欺诈和滥用行为。我们不断完善技术手段，以便大规模执行我们的信任与安全标准。此外，我们还开展研究，以了解模型更广泛的社会影响。我们的负责任扩展政策是对这些方面工作的补充，有助于我们理解当前和潜在的风险。
与风险相称的保障措施框架
和以前一样，我们坚持核心承诺：除非已落实能将风险控制在可接受水平以下的安全措施，否则我们不会训练或部署模型。我们的 RSP 基于相称保护原则：保障措施随潜在风险而扩展。为此，我们采用AI 安全等级标准（AI Safety Level Standards，ASL 标准），这是一套分级的安全措施，随着模型能力的提升而日趋严格。它们的灵感来自生物安全等级，从适用于能力非常基础的模型（例如下棋机器人）的 ASL-1 开始，依次递进到 ASL-2、ASL-3，以此类推。
在更新后的政策中，我们完善了评估特定能力（及其相关风险）以及落实相称的安全措施的方法。更新后的框架有两个关键组成部分：
- 能力阈值（Capability Thresholds）：特定的 AI 能力，一旦达到，就需要比我们目前的基线更强的保障措施。
- 必要保障措施（Required Safeguards）：能力阈值一旦达到，为缓解风险所需的具体 ASL 标准。
目前，我们所有的模型都按 ASL-2 标准运行，该标准反映了当前行业的最佳实践。更新后的政策定义了两个关键的能力阈值，达到它们就需要升级保障措施：
- 自主 AI 研发：如果模型能够独立完成通常需要人类专业知识的复杂 AI 研究任务，就可能以不可预测的方式显著加速 AI 的发展。此时我们要求提升安全标准（可能是 ASL-4 或更高标准），并提供额外的安全保证，以避免发展速度超过我们应对新出现风险的能力。
- 化学、生物、放射性和核（CBRN）武器：如果模型能够切实帮助具备基本技术背景的人制造或部署 CBRN 武器，我们要求加强安全与部署保障措施（ASL-3 标准）。
ASL-3 保障措施包括强化的安全措施和部署管控。在安全方面，这将包括内部访问控制，以及对模型权重更稳固的保护。在部署风险方面，我们计划采用多层次的方法来防止滥用，包括实时和异步监测、快速响应协议，以及全面的部署前红队测试。
实施与监督
为了促进政策的有效实施，我们已建立：
- 能力评估：依据我们的能力阈值对模型进行例行评估，以判断现有保障措施是否仍然适当。（过往评估的摘要见此处。）
- 保障措施评估：对我们的安全与部署安全措施的有效性进行例行评估，以判断是否达到了必要保障措施的标准。（这些决定的摘要将在此处提供。）
- 文档记录与决策：用于记录能力评估和保障措施评估的流程，其灵感来自高可靠性行业中常见的程序（例如安全论证方法）。
- 内部治理与外部意见的举措：除了现有的安全问题内部报告流程之外，我们的评估方法还将有内部压力测试作为支撑。我们也在就我们的方法征求外部专家的反馈。1
从经验中学习
在上一版 RSP 生效的第一年里，我们学到了很多，并借此次更新之机，回顾哪些做法行之有效、政策中哪些地方值得更新。作为其中一环，我们首次审查了对该框架的遵守情况，发现有少数几次未能完全符合其要求的字面规定。这些属于程序性问题，例如某组评估比计划晚了三天完成，或者对于应当如何、在何处记录对占位评估的任何变更不够明确。我们还标记了一些评估：如果采用标准技术（例如思维链或 best-of-N），我们或许能够激发出稍好一些的模型表现。
在所有这些情形中，我们发现它们对模型安全构成的风险极小。我们利用多出来的三天完善和改进了评估；我们实际使用的另一组评估，给出的结果比占位评估更准确；而且我们的评估方法仍然表明，我们距离阈值足够远。由此，我们得到两点宝贵的经验并纳入更新后的框架：我们需要让政策更加灵活，也需要改进跟踪 RSP 合规情况的流程。你可以在这里阅读更多内容。
自一年前首次发布 RSP 以来，我们的目标就是提供一个框架范例，供其他人在制定自己的 AI 风险治理政策时借鉴。我们希望主动分享实施自身政策的经验，能够帮助其他公司落实各自的风险管理框架，并推动整个 AI 生态系统确立最佳实践。
展望未来
AI 前沿发展迅速，因此很难预判未来的系统需要什么样的安全措施才合适。我们安全计划的各个方面都将持续演进：我们的政策、评估方法、保障措施，以及对潜在风险和缓解办法的研究。
此外，联合创始人兼首席科学官 Jared Kaplan 将担任 Anthropic 的负责任扩展官，接替过去一年担任此职的联合创始人兼首席技术官 Sam McCandlish。Sam 主持了 RSP 的初期实施，今后将继续专注于首席技术官的职责。在我们努力扩大 RSP 实施力度的同时，也在开设“负责任扩展负责人”（Head of Responsible Scaling）一职。该职位将负责协调迭代并成功遵守 RSP 所需的众多团队。
如果你希望为 Anthropic 的 AI 风险管理做出贡献，我们正在招聘！现在许多团队都通过 RSP 参与风险管理，包括：
- 前沿红队（Frontier Red Team，负责威胁建模和能力评估）
- 信任与安全（Trust & Safety，负责开发部署保障措施）
- 安全与合规（Security and Compliance，负责安全保障措施和风险管理）
- 对齐科学（Alignment Science，其下的子团队分别负责开发 ASL-3+ 安全措施、开展以失准为重点的能力评估，以及运行我们内部的对齐压力测试项目）
- RSP 团队（RSP Team，负责政策起草、保证工作和跨公司执行）
更新后的政策请见 anthropic.com/rsp，补充信息请见 anthropic.com/rsp-updates。
我们衷心感谢众多外部团体，他们为我们负责任扩展政策的制定和完善提供了宝贵的反馈。