2026年10月2日
Katharine Daly，软件工程师；Daniel Ramage，研究总监，Google Research
我们宣布一种新的联邦学习系统，它提供可外部验证的隐私保证，同时将计算转移到服务器，以提高训练速度、准确性和设备覆盖范围。
2017年，Google 推出了联邦学习（FL），这是一种在去中心化的私有数据上训练模型的机器学习技术。它已被用于支持日常实用功能，包括 Gboard 上的下一词预测和智能撰写、Google Messages 中的回复建议，以及 Android 中的智能文本选择。
我们的联邦学习系统开发遵循四项基本隐私原则：(1) 数据最小化，(2) 数据匿名化，(3) 透明度和控制，以及 (4) 可验证性和可审计性。多年的匿名化研究开发通过矩阵分解 DP-FTRL（MF-DP-FTRL）和分布式差分隐私与安全聚合相结合等算法，为生产模型带来了强大的差分隐私（DP）保证。2025年，我们引入了围绕这四项原则的联邦学习演进定义：
联邦学习（FL）是一种机器学习设置，其中多个实体（客户端）在服务提供商的协调下协作解决机器学习问题。一个完整的联邦学习系统应使客户端能够完全控制其数据、允许访问其数据的工作负载集合，以及这些工作负载的匿名化属性。联邦学习系统应为数据由联邦学习客户端管理的用户提供适当的透明度和控制。
在“Toward provably private learning from federated data”中，我们宣布了下一代联邦学习系统，它利用可信执行环境（TEE）来提供完全可验证和可审计的数据匿名化保证。在 TEE 中运行的逻辑可远程证明（第三方可以验证正在执行的逻辑），并且它还获得机密性（其内部状态无法被观察）和完整性（逻辑无法被破坏），但受当前一代 TEE 限制的约束。我们基于 TEE 的新联邦学习系统建立在 TEE 在单台机器层面提供的这些属性之上，形成一个完全可验证的端到端联邦学习系统，从而实现更强的隐私保证和更高的准确性。Gboard 已经采用了新系统，并受益于比我们之前的联邦学习系统快得多的计算时间。
我们基于 TEE 的联邦学习系统建立在我们早期关于机密联邦分析和可证明隐私洞察的工作所开发的技术之上。
该系统协调四个核心操作概念：
此图展示了数据在系统中的流动，以及验证系统上运行的工作负载的隐私保证所需的步骤。
有关基于 TEE 的联邦学习系统设计的更多详细信息，请参阅我们的白皮书《迈向从联邦数据中可证明隐私的学习》。
在早期的联邦学习系统中，设备数据上传的目的是立即聚合，但外部观察者无法验证数据从未被记录或检查。后来，安全聚合允许上传数据受到密码学保护，但与最先进的中心差分隐私保证不兼容。我们新的基于 TEE 的系统代表了我们持续努力彻底消除对服务器运营商信任需求的下一座里程碑。
在我们新的基于 TEE 的联邦学习系统中，只有指标和差分隐私模型权重对工作负载操作员可见。从设备收集的加密训练数据只能在运行访问策略中表示的 Python 训练程序的 TEE 内解密和处理，并且仅在上传后有限的时间内。
参与我们新的基于 TEE 的联邦学习系统的设备知道可能访问它们上传的数据的完整服务器工作负载集。代表这些潜在未来服务器工作负载的访问策略发布到 Rekor，这是一个公共透明度日志，外部审计人员能够观察这些日志，以跟踪设备可能参与的完整服务器端工作负载集。
我们联邦学习系统中使用的 KMS 和数据处理二进制文件可以从 Confidential Federated Compute Github 仓库中发布的开源代码可重复构建。
在我们早期的联邦学习系统中，服务器上运行的逻辑既无法被设备验证，也无法被审计人员验证，因此我们需要被信任来正确地向梯度总和添加随机噪声以提供差分隐私。
在我们新的基于 TEE 的联邦学习系统中，发布到 Rekor 的访问策略直接描述了表达联邦学习训练逻辑的 Python 程序。为了保护专有模型架构和数据预处理逻辑，同时保持可审计性，我们的数据处理 TEE 支持在运行时将序列化信息侧加载到 Python 程序中。只要所有与隐私相关的逻辑仍然硬编码在 Python 程序中，这种侧加载功能就允许必须保持专有的逻辑在 TEE 中运行，同时仍然提供强大的外部可验证隐私保证（参见下文关于侧信道观察的讨论）。
Gboard 已部署此基于 TEE 的联邦学习系统，以推出具有更强隐私保证和更高准确度的英语和日语下一词预测模型。这些改进可归因于新系统设计的多个方面。
通过在运行服务器端训练工作负载之前收集所有设备上传的数据，我们不再需要担心设备可用性的昼夜变化影响训练进度。在服务器端执行时，我们可以在程序内动态计算最优的设备参与计划，并利用它来调整其他DP参数。
此图展示了通过优化设备参与计划，基于TEE的新系统能够实现更强的隐私保证和/或更小的噪声乘数。这些曲线源自使用两个系统上的6500台设备队列进行5000轮训练英语下一词预测模型。
过去，训练这些FL模型每个可能需要1-2个月，进度受限于设备可用性、设备端计算以及多个训练工作负载对同一组设备资源的竞争。使用基于TEE的新系统后，瓶颈已转移到服务器端，跨多台机器的计算并行化使我们能够显著加快训练时间，目前仅受限于TEE资源的可用性。
在我们基于TEE的新FL系统中，客户端梯度的计算被转移到服务器端，解除了早期系统中存在的与设备端计算资源相关的限制。这为使用FL技术训练越来越大的模型铺平了道路。将TEE与加速器集成将在此类用例中发挥重要作用。
我们上面描述的系统不仅能够以可验证的方式执行FL训练工作负载，还能执行任何可以用Python表达的任意工作负载。我们正在试验在此基础设施上运行其他类型的工作负载，例如合成数据生成工作负载。另一个探索领域：将执行任意Python的数据处理TEE与我们的其他专门用于LLM推理等功能的数据处理TEE结合使用。
这项工作朝着严格证明服务器端处理保护个人隐私迈出了一步。借助外部验证者能够检查我们在Google运行的确切代码，我们能够提供强有力的保证，确保数据在服务器端的处理完全如描述所述。我们预计未来的TEE硬件，以及正在进行的减轻侧信道观测的研究，将为动态加载的工作负载提供更深入的保护，以抵御恶意的服务器端攻击。我们预计像我们这样的系统有一天可能会附带DP算法和系统组件的软件实现的完整正确性证明。
作者感谢为基础设施设计和实现做出贡献的合作者：Arun Ganesh、Brendan McMahan、Brett McLarnon、Chunxiang (Jake) Zheng、Emily Glanz、Maya Spivak、Michael Reneer、Nova Fallen、Stefan Dierauf、Suxin Guo、Timon Van Overveldt、Yu Xiao、Zachary Charles和Zachary Garrett。我们还感谢支持Gboard集成的紧密合作伙伴：Haicheng Sun、Heng Su、Jianpeng Hou、Liyang Jiang、Noriyuki Takahashi、Wenzhi Mao、Xiaojuan Fang、Yanxiang Zhang、Yingjie Liu、Yuanbo Zhang和Yun Wang。这项工作得到了Corinna Cortes、Shumin Zhai和Yossi Matias的支持。我们还要感谢Maysam Moussalem对本文写作的反馈。