我们如何保障内部系统免受能力日益增强、对齐又不完美的 AI 的威胁
AI 智能体正在改变我们与技术的关系。这些系统能够自主执行复杂任务，从网络防御到科学发现，再到产品开发，正在开启一个生产力的新时代。仅在美国，到 2030 年 AI 智能体就可能创造 2.9 万亿美元的经济价值。
随着这些智能体的能力不断增强，它们也需要更完善的防护措施。为此，我们制定了 AI Control Roadmap（AI 控制路线图）：这是一套用于构建和管理 Google 内部所部署的先进 AI 的框架。这种“纵深防御”思路可作为整个行业的参考模式，它超越了传统的模型对齐，增加了关键的系统级安全层，即使对齐并不完美，也能提供保障。
理解 AI 控制
我们的安全方法始于坚实的基础，包括沙箱、终端安全和提示注入防御等传统防护措施。在此之上，AI Control Roadmap 以模型对齐（即训练 AI 使其本质上安全且有用）作为首要防线。同时，它把内部智能体视为可能未对齐，从而多加一层安全保障，即使对齐不完美也能提供保证。
可以把它想象成带双套操纵装置的驾校教练车。教练信任学员，但随时准备在出错时接过方向盘或踩下刹车。同样，我们的 AI 控制系统根据智能体经过验证的行为授予权限，使我们能够通过受控的、渐进式的访问来建立信任。
我们的路线图建立在一个简单而审慎的假设之上：如果一个能力很强的 AI 智能体与我们的目标不一致，并以出人意料的方式行事，会怎样？为应对这一问题，我们的方案聚焦三个关键领域。
首先，遵循网络安全领域的最佳实践，我们为 AI 开发了一套新颖的威胁建模框架。该路线图把不受信任的 AI 智能体视为潜在的“内部威胁”，就像公司看待一名已经可以进入办公室的潜在流氓员工一样。我们以行业标准的 MITRE ATT&CK 框架（一个基于真实世界观察、全球可访问的对手战术与技术知识库）为基础，把潜在攻击拆解为更小的战术和技术。这使我们能够有条不紊地追踪风险，在不良行为造成损害之前发现它，并安全地开展演练，检验我们的防御是否真正有效。
其次，我们制定了部署 AI 控制缓解措施的计划，以应对这些风险。
- 发现问题（检测）：监控是 AI 控制的支柱。我们使用其他受信任的 AI 系统作为“监督者”，持续审查工作中的智能体的推理、行动和计划，判断其是否偏离轨道。
- 处置问题（预防与响应）：如果监督者发现智能体试图做有害的事，就可以介入，在造成损害之前阻止该行动。
最后，为确保我们的系统有效运转，我们持续从三项关键指标衡量性能：覆盖率（被监控流量的占比）、召回率（被捕获的未对齐行为的占比）和响应时间。
随着 AI 变得更聪明，同步扩展安全防护
随着 AI 模型不断进步，我们的防御也必须同步加强。在 AI Control Roadmap 中，我们围绕 AI 能力的两个关键方面，将安全协议与可衡量的里程碑对应起来：
- 规避检测的能力：目前，我们监控模型可见的思维链。然而，随着模型学会隐藏其推理，无论是通过监督感知（知道自己正在被监控）还是不透明推理（不借助可见文本进行推理），仅仅阅读它们口头表述的推理将不再足够。我们需要分析它们的行为，并有可能检查模型的内部运作。
- 造成潜在危害的能力：对于低风险且可逆的操作，我们可以依靠延迟审查记录，并在问题发生后迅速补救（异步响应）。对于风险特别高的操作，例如重大网络攻击，我们必须转向实时预防，在有害操作被执行之前将其阻止（同步响应）。换句话说，我们的响应策略必须随威胁的严重程度而扩展。
AI Control Roadmap 根据所部署模型的能力来推荐安全措施。模型的规避检测能力决定检测等级（D1-D4），模型的攻击执行能力则决定预防与响应等级（R1-R3）。
分析一百万条智能体轨迹，为实时监控提供依据
要构建这些系统，我们需要数据。我们的团队已构建了一个异步监控系统的内部原型，它会审查编码智能体的轨迹，并将发现上报给人工审核。每个被标记的事件都会依据我们路线图中的威胁分类体系进行归类。
我们已经分析了一百万个编码智能体任务，这为我们完善安全协议提供了宝贵的洞见，也让我们得以超越简单的关键词过滤，识别高信号的行为模式。例如，这项研究对构建 Gemini Spark 智能体的实时监控器发挥了重要作用，使我们能够实时应对新出现的问题，比如意外删除数据。
需要指出的是，我们的数据显示，大多数被标记的事件并非源于对抗性意图；相反，它们往往是由于智能体误解或过于热心地想要达成用户目标所致。理解这些细微差别，对于完善我们的安全协议至关重要。
守护智能体生态系统是共同的责任
AI Control Roadmap 是我们多层次智能体安全方法中的一个重要组成部分。通过将这些协议与我们更广泛的基础设施相整合，我们正在扩展内部安全能力，以安全地管理最先进的 AI 模型。
此外，这种多层次的智能体安全方法应当成为产业界、政策制定者和学术界共同的优先事项。通过让整个生态系统围绕最佳实践和标准达成一致，我们可以赋能网络防御者并构建社会韧性。因此，今天我们还发布了一份面向政策制定者的技术框架：《智能体安全的三个层次》。该论文详述了我们需要如何在单个智能体层面、多智能体系统中提升安全性，并赋能网络防御者、在更广泛的生态系统中建立韧性。
我们打算在这些框架的基础上继续推进，在当下有信心地部署高能力 AI，同时继续为未来构建安全的基础。
在此阅读完整技术报告：
研究作者
Mary Phuong, Erik Jenner, Laurent Simon, Lewis Ho, Rohin Shah, Sebastian Farquhar, and Scott Coull.
致谢
Four Flynn, Anca Dragan, Alan Cooney, Bilal Chughtai, Buck Shlegeris, Cody Wild, David Lindner, Julian Stastny, Kevin Klyman, Li Ding, Myriam Khan, Raluca Ada Popa, Roland Zimmermann, Ryan Greenblatt, Senthooran Rajamanoharan, Victoria Krakovna and Xerxes Dotiwalla.