随着我们构建能力更强、更个性化的 AI，可靠性、安全性和用户保护比以往任何时候都更重要。
先进的模型需要先进的安全方法，一种能随技术一同扩展的方法。今天，我们详细介绍这方面的工作：更新后的先进 AI 扩展框架（Advanced AI Scaling Framework）、Muse Spark 的安全与准备度报告（Safety & Preparedness Report），以及我们的模型从底层对安全问题进行推理的新进展，确保随着 AI 能力的提升，我们的保护措施同步跟进。
先进 AI 扩展框架
今天，我们在最初的前沿 AI 框架（Frontier AI Framework）基础上，发布一个大幅更新、更加严格的版本：先进 AI 扩展框架。此次更新扩大了我们评估的风险类型，加强了部署决策的制定方式，并引入了新的安全与准备度报告（Safety & Preparedness Reports）。具体来说，该框架概述了我们如何识别和评估最严重的新兴风险，包括化学和生物风险、网络安全风险，另外还新增了一个评估失控风险的部分。随着模型越来越先进，我们会评估它们在获得更大自主权时的表现，以及围绕这种行为设置的控制措施是否按预期发挥作用。这些标准适用于我们所有的前沿部署，无论是开放模型、受控 API 访问还是闭源模型。
在实践中，这也意味着要梳理潜在风险，在应用安全措施前后对模型进行评估，确认这些措施在真实世界中有效，并且只有在模型达到我们框架所设标准时才会部署。对在我们各款应用中使用 Meta AI 的用户来说，这意味着驱动他们体验的模型，在我们向他们开放之前，已经在广泛的风险范围内接受了评估。
更新后的框架加强了对我们能力最强模型的标准和防护措施，而我们新的安全与准备度报告（Safety & Preparedness Reports）将展示我们如何达到这些标准。这些报告将详细说明我们的风险评估、评估结果、部署决策背后的理由，以及我们仍在努力解决的任何局限。这种透明度意味着，我们会分享自己发现了什么、如何测试模型、评估在哪些方面存在不足，以及如何弥补这些差距。
安全与准备度报告（Safety & Preparedness Report）
对于 Muse Spark，我们在部署前进行了广泛的安全评估。由于它具备先进的推理能力，我们在应用保护措施前后都对模型进行了评估，测试内容不仅包括网络安全以及化学和生物威胁等最严重的风险，还包括我们长期实行的安全政策（旨在防止暴力、违反儿童安全和犯罪不法行为等危害与滥用）以及确保意识形态平衡的政策。
我们的评估方法在设计上是多层次的，并且在模型部署之前就已开始。我们针对数以千计专门为发现弱点而设计的场景进行测试，跟踪这些尝试的成功频率，并努力把这个数字降到尽可能低。由于没有任何评估能做到面面俱到，我们还通过旨在发现意外问题的自动化系统监控线上流量，以便快速处理。结果表明，在我们衡量的所有风险类别中，防护都很强。我们的评估还显示，Muse Spark 在避免模型回复中的意识形态偏见方面处于前沿水平。
我们还评估了模型是否可能以难以控制的方式自主行动，评估结果证实它不具备构成这些风险所需的自主能力水平。我们的安全与准备度报告（Safety & Preparedness Report）除了列出全部评估结果，包括我们测试了什么、发现了什么，还详细说明了得出这一结论所依据的具体评估。
随模型一起扩展的安全
这些保护措施贯穿每个阶段，从过滤模型学习所用的数据，到以安全为重点的训练，再到在产品层面运行的护栏。而且，由于我们的保护措施需要随着模型的复杂程度提高而演进，这项工作永远不会完成。
具体来说，Muse Spark 比我们上一代模型能力更强，正是这种能力使一种全新的模型治理方法成为可能。早先的方法依赖于逐个教模型处理具体场景，例如训练它们拒绝回答或引导至可信来源。这种方法有效，但难以扩展。由于 Muse Spark 能够推理，我们改进了方法：我们把内容与对话安全、回复质量以及处理不同观点等领域的信任与安全准则，转化为清晰、可测试的原则。我们还训练模型理解某件事为什么安全，不仅教它规则，也教它规则背后的理由。这意味着，对于基于规则的系统可能未能预见的新情况，模型能更好地应对。
这项工作并不取代人工监督，而是提升了监督的层次。我们的团队设计指导模型行为的原则，用真实场景对这些原则进行严格验证，并叠加额外的护栏，以捕捉模型仍可能漏掉的问题。其结果是，保护措施的应用更广泛、更一致，并且随着模型推理能力的提高而不断改进。
展示我们的工作
随着我们对 Meta AI 做出重大改进并部署能力最强的模型，我们的安全与准备度报告（Safety & Preparedness Reports）会展示我们在每一步如何评估和管理风险。我们将继续投入防护措施、测试和研究，让人们能够依赖内置保护措施的 AI 体验，帮助他们保持安全。