返回文章 apply CMS 文章

TensorRT Edge-LLM 在 Jetson AGX Thor 上完成 MLPerf Edge Agentic 基准测试，速度提升 6.4 倍

NVIDIA TensorRT Edge-LLM 通过 NVFP4 量化、KV 缓存复用和基于树的 MTP，在 Jetson AGX Thor 上实现边缘智能体推理 6.4 倍加速。

NVIDIA

TensorRT Edge-LLMMLPerf边缘计算智能体 AI

成长分 / 100 79 综合收获、行动、留存与影响

TensorRT Edge-LLM 在 Jetson AGX Thor 上完成 MLPerf Edge Agentic 基准测试，速度提升 6.4 倍

为什么值得读了解边缘设备上运行智能体 AI 工作负载的最新性能基准和优化技术。

获取在 Jetson AGX Thor 上部署 Qwen3.6-27B 模型的详细步骤和配置。

关键洞察

MLPerf Edge Agentic 基准测试衡量多轮智能体工作流，包含 20 段对话和 1,007 个生成轮次，输入长度可达约 23.5K token。
TensorRT Edge-LLM 在 Jetson AGX Thor 上实现 52.33 token/s 的输出吞吐量，首 token 时间中位数 247.12 ms，BFCL 准确率 87.94%。
NVFP4 量化将权重和激活压缩至 4 位浮点，KV 缓存使用 FP8，减少内存占用并提升解码性能。

转成行动

深入阅读

正文与原文对照

原文保真覆盖：全文原文字符：10053

AI 智能体正从云数据中心走向车辆、机器人和其他边缘设备。与只回答单个提示词的聊天机器人不同，智能体要完成一连串步骤：选择工具、评估工具结果，并在不断变长的对话中继续推理。

这种工作流对边缘推理提出了新的要求。模型必须在有限的功耗和内存范围内快速生成 token、高效处理很长的共享历史，并生成有效的工具调用。

在 MLPerf Inference v6.1 Edge Agentic 基准测试中，NVIDIA TensorRT Edge-LLM 在单台 NVIDIA Jetson AGX Thor 开发者套件上运行了 Qwen3.6-27B。该系统达到每秒 52.33 个 token，并在 24 分 36 秒内完成了性能工作负载的全部 1,007 轮，比 llama.cpp 参考提交的 2 小时 37 分钟快 6.4 倍。该结果采用了 NVFP4 量化、基于树的多 token 预测（MTP）以及 KV 缓存复用。

MLPerf 如何衡量端到端的智能体 AI 性能

MLPerf Edge Agentic 分性能和准确率两个阶段，衡量一个与 OpenAI 兼容的模型端点。

性能阶段回放已记录的软件工程智能体轨迹。模型接收用户请求，生成工具调用，观察工具结果，并在同一段对话中继续。该工作负载包含 20 段对话和 1,007 个生成轮次。输入长度随轮次增长，最终达到约 23.5K 个 token，使长上下文处理成为测量中的重要部分。同时还会测量基于交并比（Intersection of Union，IoU）的在线准确率，以确保性能阶段正确地运行了智能体。

准确率阶段使用 Berkeley Function Calling Leaderboard（BFCL）v4 的提示词，仅限单轮并关闭推理，以便在边缘设备上平衡准确率与评测耗时。它评估模型是否选择了正确的函数、是否生成了有效的参数，以及在不需要工具时是否避免调用工具。

MLPerf Edge Agentic 基准测试：一个包含 20 段对话、1,007 轮的性能数据集（工具结果在各轮之间累积到上下文中），以及一个包含 995 条提示词的 BFCL v4 准确率数据集（按函数调用是否正确且无幻觉评分）。 — 图 1. MLPerf Edge Agentic 工作负载衡量的是一个多轮循环，其中工具结果会在下一次模型请求之前被加入对话

Jetson AGX Thor 上的 MLPerf Edge Agentic 基准测试结果

TensorRT Edge-LLM 的提交在一台配备 128 GB 统一内存的 Jetson AGX Thor 开发者套件上，以 MAXN 功耗模式、SingleStream 模式运行 Qwen3.6-27B。

指标	结果
输出吞吐量	每秒 52.33 个 token
首个 token 时间中位数	247.12 ms
每个输出 token 时间中位数	14.68 ms
BFCL 总体准确率	87.94%

表 1. MLPerf v6.1 NVIDIA Edge Agentic 提交结果摘要

MLCommons Edge Agentic 示例还公布了 Jetson AGX Thor 上的一次 llama.cpp 参考运行，使用 Q4_K_M 量化的 Qwen3.6-27B，耗时 2 小时 37 分钟完成。TensorRT Edge-LLM 的提交在 24 分 36 秒内完成该工作负载，所用时间缩短为 1/6.4。

一幅绿灰相间的条形图，展示 NVIDIA Jetson AGX Thor 上 MLPerf Edge Agentic 性能工作负载的端到端完成时间，并比较智能体 AI 任务各阶段所用的时间。 — 图 2. Jetson AGX Thor 上 MLPerf Edge Agentic 性能工作负载的端到端完成时间

使用 NVFP4 量化加速 Qwen3.6-27B 推理

众所周知，边缘平台上的小批量 LLM 解码在很大程度上受限于 DRAM 带宽。缩小权重和激活值的大小，可以减少内核的内存占用，从而提升解码性能。

提交的 Qwen3.6-27B 模型对权重和激活值（包括语言模型头）使用 NVFP4，对 KV 缓存使用 FP8。NVFP4 是一种 4 位浮点格式，由 Jetson AGX Thor 中的 NVIDIA Blackwell GPU 支持。TensorRT Edge-LLM 使用优化的内核来加速量化模型，同时保持 MLPerf 所要求的准确率。

更小的模型表示还能为长上下文、推测解码状态和应用工作负载留出更多的 128 GB 统一内存。开发者可以从已发布的、经过校准的 Qwen3.6-27B NVFP4 检查点开始。部署团队可以使用已发布的量化检查点，也可以在部署模型之前，在任意开发系统上执行一次训练后量化。

在智能体各轮之间复用 KV 缓存

智能体轨迹中的每个新请求，都包含之前的大部分对话，外加一条新的模型响应或工具结果。如果不复用，模型每一轮都必须重新对共享的历史做预填充（prefill）。随着对话变长，成本也不断上升。

TensorRT Edge-LLM 会识别可复用的提示词前缀，并恢复其缓存的注意力 KV 页。Qwen3.6 采用混合模型架构，因此运行时还会恢复正确继续执行所需的循环状态和部分 KV 页状态。然后，它只对对话中新增的后缀做预填充。

KV 缓存和循环状态的复用，减少了整条智能体轨迹中重复的长上下文计算。这项优化与基于树的 MTP 相辅相成：缓存复用降低了生成开始前的成本，而 MTP 则减少了生成过程中目标模型的步数。

在这个工作负载上，约 96% 的提示词 token 由热缓存提供。在所有轮次共计 13.6M 个提示词 token 中，运行时只需预填充约 0.5M 个。

使用基于树的多 token 预测加速 LLM 推理

标准的自回归解码每次调用模型只生成一个 token。多 token 预测使用草稿模型预测未来的若干个 token，再由目标模型一并验证。近期的模型通常带有与主模型一同训练并发布的官方 MTP 权重。

除传统的线性 MTP 之外，TensorRT Edge-LLM 还实现了基于树的 MTP。运行时不再只保留一条预测的后续序列，而是把高概率候选组织成一棵树。目标模型在一次前向传播中验证这些候选，运行时接受匹配的路径。如果有多个候选被接受，系统就会一次推进生成数个 token。

你可以在启动服务器时调整草稿参数。MLPerf 服务器配置使用 8 个草稿步、每个草稿深度取前 2 个候选，以及一棵 16 节点的验证树。基于树的验证对函数调用很有用，因为工具名称、JSON 语法和常见的参数结构往往是可预测的，而多个分支可以为单个参数值保留可能的备选项。与 3 个草稿步的线性 MTP 相比，基于树的 MTP 在这一工作负载上可额外带来约 40% 的解码性能提升。

如何运行 MLPerf Edge Agentic 基准测试

本次提交所用的实现可在 TensorRT Edge-LLM release/0.9.1-mlpinf 分支上获取。该分支包含模型导出设置、TensorRT 引擎构建命令、服务器配置和 MLPerf 客户端配置

1. 克隆 TensorRT Edge-LLM 并初始化其子模块。

git clone --branch release/0.9.1-mlpinf \
  https://github.com/NVIDIA/TensorRT-Edge-LLM.git
cd TensorRT-Edge-LLM
git submodule update --init --recursive

2. 下载经过校准的 NVFP4 检查点。

huggingface-cli download \
  centml/Qwen3.6-27B-NVFP4-W4A4-mlpinf \
--local-dir "$WORK/Qwen3.6-27B-NVFP4-W4A4-mlpinf"

3. 按照 mlperf/README.md 构建 TensorRT Edge-LLM，使用树形 MTP 接口导出检查点，并构建基础模型和草稿模型的 TensorRT 引擎。

$VENV/bin/python -m tensorrt_edgellm.scripts.export \
  "$WORK/Qwen3.6-27B-NVFP4-W4A4-mlpinf" \
  "$WORK/onnx" \
--mtp-tree-base --skip-visual

4. 启动与 OpenAI 兼容的 TensorRT Edge-LLM 服务器。

export REPO="$PWD"
export VENV=/path/to/venv-edgellm-export
export WORK=/path/to/mlperf-artifacts
bash mlperf/serve_edgellm.sh

5. 克隆 MLCommons 端点测试框架（endpoint harness），安装其 BFCL 依赖，更新 mlperf/config.yaml 中的模型和分词器路径，然后运行基准测试。

git clone https://github.com/mlcommons/endpoints.git
cd endpoints
python3.12 -m venv .venv
source .venv/bin/activate
pip install -e ".[dev,bfcl]"

inference-endpoint benchmark from-config \
--config "$REPO/mlperf/config.yaml"

所提供的配置以温度 0、随机种子 42、关闭推理、并发数 1 运行性能和准确率两个阶段。使用 --accuracy-only 选项可以只运行 BFCL 准确率阶段。有关数据集和客户端配置的更多信息，请参阅 MLCommons Edge Agentic 示例。

关于所有提交的完整 MLPerf Inference v6.1 结果，请参阅 MLCommons 的公告。关于服务器规模的 Vera Rubin 性能，请参阅 NVIDIA Vera Rubin NVL72 在 MLPerf Inference v6.1 首秀中展现领先性能。

致谢
这项工作凝聚了 NVIDIA TensorRT Edge-LLM、ModelOpt、Jetson 和 MLPerf 团队的贡献，特别感谢 Zihao Kong、Xiang Guo、Yoco Xiao、Qikai Li 和 Ashwin Nanjappa。感谢 MLCommons 社区开发了 Edge Agentic 基准测试和端点测试框架。