随着大语言模型（LLM）推理越来越多地在个人、企业和受监管场景中处理敏感信息和专有模型上下文，数据必须在可信环境内处理。NVIDIA 机密计算（Confidential Computing，CC）借助内存加密的机密虚拟机（CVM）、机密 GPU 和加密的 NVIDIA NVLink，为安全运行这些工作负载提供了一条路径。这使得在可信硬件上运行生产级 AI 推理成为可能。
NVIDIA TensorRT LLM 等推理框架通过将框架层面的优化与 NVIDIA 加速计算相结合，提供同类最佳的 AI 推理。然而，当这些框架运行在启用 CC 的环境中时，安全执行会改变内存搬移、时序、调度和多 GPU 通信背后的假设。如果运行时不做适配，这些变化会带来性能开销。因此，要保持高性能，推理框架与机密计算环境需要协同优化。
对于正在评估 NVIDIA Blackwell GPU 上机密推理的 AI 平台工程师，本文考察了 TensorRT LLM 等 AI 推理框架为适应安全执行、同时帮助保持推理性能而采用的 CC 感知适配。文中还介绍了一套受控的方法，团队可以用它来量化自己工作负载上的 CC 开销。
选择能暴露 CC 开销的工作负载
工作负载的特征决定了 CC 开销的可见程度。较高的请求量可以让停顿与其他工作重叠，从而摊薄固定的加密成本，使直接影响更难观察。
为了暴露这些影响，应选择输入上下文长、输出生成长、并发低的工作负载。长上下文会在预填充（prefill）阶段加大数据搬移的压力，长时间生成会在解码（decode）阶段放大每个 token 上微小的 CC 开销，而低并发则限制了在并发请求之间隐藏这些成本的机会。
NVIDIA 性能工程团队针对此处评估的工作负载采用了这些特征。
表 1. CC 开启与 CC 关闭对比的工作负载配置
| 参数 | 配置 |
|---|---|
| 模型 | nvidia/DeepSeek-R1-0528-NVFP4 |
| 推理框架 | TensorRT LLM，PyTorch 后端 |
| 输入/输出序列长度 | 32K 输入/1K 输出 |
| 并发请求数 | 1、2、4、8 和 16 |
| 并行方式 | TP=8, EP=1, PP=1 |
| KV 缓存 | FP8 |
通过受控的 CC 开启与 CC 关闭对比来测量 CC 开销
要分离出 CC 对性能的影响，需要在两种条件下运行同一工作负载：机密计算关闭（CC off）和机密计算开启（CC on），同时保持模型、硬件、框架版本、序列长度、并行方式和并发数不变，使 CC 状态成为唯一变化的变量。
在每个并发级别上：
- 保留的输出吞吐量：100 x（CC on 输出 token/秒 ÷ CC off 输出 token/秒）
- 延迟开销，即每输出 token 时间（Time Per Output Token，TPOT）：100 x（CC on TPOT ÷ CC off TPOT − 1）
性能团队可以借助这些测量结果，量化针对目标工作负载启用 CC 后保留了多少 CC off 基线性能。NVIDIA 性能工程团队使用表 2 中汇总的硬件和软件配置进行了这一对比。
表 2. CC on 和 CC off 两组运行使用的硬件和软件配置
| 组件 | 版本/详情 |
|---|---|
| 硬件 | 1 台 NVIDIA DGX B200 系统（8 块 NVIDIA B200 GPU） |
| 平台 | Intel TDX |
| 宿主机操作系统 | Ubuntu 25.10 |
| 宿主机内核 | 6.17.0-20-generic |
| 客户机操作系统 | Ubuntu 24.04.4 LTS |
| 客户机内核 | 6.8.0-124-generic |
| 客户机 vCPU | 256 |
| 客户机 NUMA | 2 个节点 |
| NVIDIA 驱动 | 595.71.05 |
| VBIOS | FW 1.4.x [97.10.64.00.0C] |
| GPU 功耗上限 | 1,000 W |
| CUDA | 13.2 |
| TensorRT LLM | nvcr.io/nvidia/tensorrt-llm/release:1.3.0rc22 |
| NCCL | v2.30 |
| OpenSSL | 3.6.0 |
| 编排 | Docker 容器 + NVIDIA Container Toolkit |
性能结果
如图 1 和图 2 所示，在并发 1 至 16 范围内，CC on 保留了 CC off 输出 token 吞吐量的 96.1% 至 98.2%，而平均 TPOT 与基线的差距保持在 1.2% 至 4.3% 之内。
识别并降低 CC 开销
NVIDIA Blackwell 机密计算架构引入了由硬件强制执行的安全路径，用于保护使用中的数据和工作负载。有关该架构的详细概述，请参阅《Hardware-Rooted AI Security That Won’t Slow You Down》。
对于 TensorRT LLM 用户和框架开发者，以下细节说明了这些安全路径如何改变常见的运行时假设，以及 TensorRT LLM 如何适配以降低由此产生的性能开销。
适配主机到设备的数据搬移
在 B200 CC 中，由于 GPU 无法直接访问受保护的 CVM 内存，主机到设备的传输需要经过一个由软件加密的中转缓冲区（bounce buffer）。这改变了推理框架的预期行为：锁页内存（pinned memory）不再具有通常的异步传输优势，而且某些拷贝会阻塞调用线程。
- 主机到设备的缓解措施：TensorRT LLM 采用 CC 感知的内存选择，在受影响的路径上选择可分页内存（pageable memory），而不是无条件使用锁页内存。
- 设备到主机的缓解措施：TensorRT LLM 将重复的 token 和采样数据回读移到异步工作线程中，避免受保护的拷贝在解码期间阻塞主调度器。详情请参阅 TensorRT LLM PR #11573。
稳定内核自动调优器的计时
内核自动调优器通常使用 CUDA 事件来比较候选策略（tactic）。在测试的 CC 配置中，CUDA 事件时间戳产生的计时信号不稳定，这可能导致自动调优器选择较慢的策略。
- 缓解措施：TensorRT LLM 在 CC 下使用 GPU
%globaltimer来测量策略，而在 CC 之外仍保留 CUDA 事件。详情请参阅 TensorRT LLM PR #11657。
选择 CC 感知的多 GPU 通信
B200 CC 配置中不提供 NVLS（NVLink SHARP）多播。没有 NVLS，NCCL_SYMMETRIC 就无法发挥其预期的多播收益，却仍可能在使用非多播集合通信路径之前产生内存注册和跨 rank 同步的成本。
- 缓解措施：面向 CC 的框架应检测 NVLS 是否可用，并针对给定的消息大小、拓扑和工作负载特征，选择使延迟最小的通信算法。
开始使用 NVIDIA 机密计算
NVIDIA 机密计算将硬件强制的保护扩展到机密虚拟机、NVIDIA Blackwell GPU 和加密的 NVLink，在专有模型、企业上下文和敏感提示词被处理期间对其加以保护。
机密计算并不会消除性能工程的需求，反而使框架层面的感知更为重要。有了 TensorRT LLM 针对安全数据搬移、自动调优和多 GPU 通信的 CC 感知适配，在八块 NVIDIA B200 GPU 上进行机密 DeepSeek-R1 推理时，保留了超过 96% 的 CC off 输出 token 吞吐量，同时每 token 延迟开销低于 5%。
随着企业将私有推理推向生产，应将安全配置和推理优化视为同一个部署问题。启用机密计算，对环境进行证明（attest），并使用你打算实际提供服务的工作负载对 CC on 和 CC off 进行基准测试。对于将私有推理推向生产的 AI 平台工程师和 TensorRT LLM 用户，应把安全配置和推理优化视为一项全栈工程工作。
要开始规划你的机密推理部署，请参阅 NVIDIA Trusted Computing 文档，并了解最新的 TensorRT LLM 特性和发布说明。要了解最新进展，请关注 NVIDIA Confidential Compute 新闻。
致谢
感谢 Dan Hansen、Sheel Pethe、Samuel Mendoza-Jonas、Moein Ghaniyoun、Vidhya Krishnan、Avinash Ahuja、Laikh Tewari、Laura Martinez 和 Matheen Raza 在整个工作过程中的工程贡献、技术指导、分析和细致审阅。