2026年10月5日
Eugene Bagdasarian，研究科学家；Marco Gruteser，首席科学家，Google Research
为了发挥作用，AI 智能体必须理解并受情境行为规范的约束，以确保其行为得当。受情境完整性理论的启发，我们的新研讨会报告概述了在系统、模型和用户层面构建用户可信任的 AI 智能体的关键开放研究方向。
我们正在迅速迈向一个由高度通用、日益自主的智能体所定义的计算机新格局。这些系统由能够动态生成计划并调用外部工具的大语言模型（LLM）驱动，有望让 AI 无缝地代表我们处理复杂的多步骤任务。然而，要实现这一潜力，需要解决一个关键挑战：在赋予智能体能力的同时，确保其行为得当。
今天，我们分享一份全面的新研讨会报告——《智能体隐私与安全中的开放与新兴问题：情境视角》，这是汇聚了来自众多机构 50 多位学术界与产业界领袖的协作成果。我们于 2025 年底在纽约市举行的 Google 情境智能体隐私与安全（CAPS）研讨会上会面。在这份报告中，你将看到对自主智能体当今面临的基础性隐私与安全挑战的剖析，这些挑战需要在系统、模型、用户和生态系统层面进行协同防御。
智能体 AI 的核心挑战在于：智能体要发挥作用，可能需要访问个人数据，并且具备在广泛情境中采取有后果行动的能力。然而，这种访问权限加上智能体的行为灵活性，要求采用与传统软件截然不同的方法。与传统确定性软件不同，智能体在三个关键维度上存在差异，这些差异带来了研究界必须共同应对的挑战：
智能体 AI 隐私与安全挑战。
鉴于有用的智能体可能需要共享数据并完成任务，我们相信，可信任智能体的未来取决于它们能否对其行动的社会规范和适当性进行推理、理解并受其约束——针对其运作的特定情境。
但我们如何教导智能体理解“语境”与恰当性？我们的报告以语境完整性（Contextual Integrity, CI）理论为基础，该理论将隐私不仅定义为保密或控制，而是根据既定且合理的社会规范所定义的“适当的信息流动”。特定语境下的信息规范由其行为者（谁在发送和接收关于谁的信息）、信息类型（特定类别的信息，如医疗或财务记录）以及传输原则（管理流动的规则，如保密性或互惠性）所定义。例如，你可能愿意与虚拟购物助手分享你的礼物购物清单，但不愿与家人和朋友分享。我们的报告将信息共享的语境完整性扩展并泛化至语境安全，即智能体行为的恰当性。通过将智能体隐私和安全锚定在CI中，我们探索如何设计系统，在执行某项行动之前评估其是否在社会和语境上恰当。
通用AI智能体跨语境与其他用户、工具和智能体交互的模型。
自语境完整性理论发展以来，大语言模型首次提供了创建真正依赖语境的机器可读策略的机会。历史上，高层语境规范与低层系统权限之间一直存在语义鸿沟。例如，“在为我组织会议旅行时保护我的数据”需要具体指示，说明在预订航班、申请签证和与组织者沟通时，哪些用户信息适合分享。
传统方法如手动权限或专家编写的策略，无法扩展到AI智能体自主执行多个复杂、长期任务的未来。随着语言模型开始理解CI，我们认为这一鸿沟可以被弥合。我们的报告主张，通过一个语境策略引擎来补充模型和用户交互的进步，该引擎构成监督层的一部分，以监控和执行行动的恰当性。该策略引擎包括一个动态策略生成循环，可以实时运行（如下图所示），以根据用户请求和开放式、动态语境（包括运行时可能发现的新工具和能力）定制策略。这允许系统在任何信息离开用户工作区之前，评估所请求的数据流是否恰当。
一个示例，说明语境策略引擎架构如何在智能体系统内实例化。
与模型和用户层面必要进步一起努力实现语境策略引擎，形成了一种多层方法。我们的报告概述了整个技术栈的创新机会：
最后，我们提出开发新的安全评估方法，更直接地适用于高度自主的多智能体系统。我们的报告强调需要标准化的多智能体基准——动态的“智能体健身房”环境，研究人员可以在其中安全地模拟长时间内的复杂、级联交互。通过这些开源沙盒，我们可以在学术界和工业界建立稳健、共享的隐私、安全和安全基线。
这是一个雄心勃勃的项目，但一个安全、可靠且值得信赖的智能体生态系统对于任何单一学科、组织或部门来说都过于庞大。报告呼吁新的想法和前所未有的合作，提出了基础性机遇；它是对更广泛的研究界——跨越学术界、政府、公民社会和产业界——采取行动的号召，以发展必要的背景基础，构建一个安全、可靠且尊重隐私的生态系统。我们邀请您阅读技术报告。
我们感谢Lillian Tsai担任共同第一作者，以及Sarah de Haas协调研讨会、报告撰写和博客文章。Kassem Fawaz、Stefan Mellem、Helen Nissenbaum和Nina Taft对概念化、多个部分的撰写以及指导写作过程做出了贡献。Sebastian Benthall、Madiha Zahrah Choksi、Seliem El-Sayed、Ferdinando Fioretto、Adrià Gascón、Ashish Hooda、Ivan Petrov、Francesco Pinto、Octavian Suciu、Trishita Tiwari、Harold Triedman、Ren Yi和Wen Zhang担任了章节负责人。我们感谢超过50位研究人员、学术伙伴和行业领袖的贡献，他们共同撰写了报告或参与了研讨会讨论。这项工作得到了Daniel Ramage、Corinna Cortes、Yossi Matias、Pushmeet Kohli、Hank Levy、Raluca Ada Popa、Amanda Walker、Brendan McMahan和James Manyika的支持。Eugene Bagdasarian也是马萨诸塞大学阿默斯特分校的助理教授。