常驻运行的智能体正在承担更长、更复杂的企业工作流。单个请求可能涉及阅读文档、跨来源核查信息、遵循公司政策以及调用多个工具。
NVIDIA Nemotron 3.5 Super VL 是一款面向这些专门工作流的开放、可定制的多模态模型。其 120B 参数的专家混合（MoE）架构每个 token 激活 12B 参数，在模型容量与推理效率之间取得平衡。
在单块 GPU 上，与同规模类别的其他开放模型相比，该模型在智能体任务上可提供最高 5 倍的吞吐量。
图 1. Nemotron 3.5 Super VL 在 Baseten 端点上运行 Artificial Analysis Intelligence Index 智能体任务时提供超过 600 TPS
该模型将推理、指令遵循和工具使用与文本、图像、文档和视频理解相结合。通过将这些能力整合到一个模型中，团队可以处理文本和视觉任务，而无需部署单独的文本模型和视觉语言模型，也无需在它们之间传递任务上下文。
开发者可以使用自己的数据、工具、政策和工作流，通过 NVIDIA NeMo 对 Nemotron 3.5 Super VL 进行后训练。本文介绍如何利用这一基础构建专门的企业智能体，并描述支撑它的训练和推理技术。
为什么选择 Nemotron 3.5 Super VL 用于专门智能体？
智能体需要同时理解其任务和运行环境。客服智能体必须遵循公司退货政策。研究智能体跨来源连接证据，而文档智能体则解读表格、图表和页面布局。
Nemotron 3.5 Super VL 在一系列智能体工作流中结合了推理与视觉理解，包括：
编码：测试和验证代码、分析错误并建议修复方案。网络研究：跨网站搜索、连接信息并验证答案。文档智能：从表格、图表和页面布局中提取信息，以生成摘要和报告。网络安全：识别安全漏洞并对威胁进行分级，以确定修复优先级。视频理解：提取信息用于搜索、内容审核和事件分析。
在模型系统中，Nemotron 3.5 Super VL 处理需要推理、工具使用以及文本和视觉理解相结合的专门、多步骤工作。较小的模型（如 NVIDIA Nemotron 3.5 Lightning）处理高容量文本任务，而前沿模型（如 NVIDIA Nemotron 3 Ultra）则负责复杂的规划与编排。
针对领域数据、工具和政策定制 Nemotron 3.5 Super VL
专业智能体必须了解组织如何运作。领域术语、工具接口、操作流程和政策要求决定了智能体如何成功完成任务。
从网络安全、金融到医疗等各行各业的组织正在对 Nemotron 3.5 Super VL 进行后训练，使其在生产工作流中的准确性和效率超越前沿模型。例如：
- Scale AI，一家 AI 数据和技术提供商，为媒体和娱乐公司 Skydance Corporation 的自动化供应商信用处理对 Nemotron 3.5 Super VL 进行了后训练。该工作负载的推理成本将降低 40 倍，延迟降低 5 倍。
- Ramp，一家金融运营平台提供商，正在将收据图像转换为包含商户信息、日期和支付数据的结构化 JSON。Ramp 预计吞吐量提升高达 50%，延迟降低 10 倍。
- AI21 和 Alice 对 Nemotron 3.5 Super VL 进行了后训练，用于威胁情报和漏洞分析，准确性提升了 41%。
图 2. 后训练的 Nemotron 3.5 Super VL 在各行业的专业任务中达到领先性能
团队可以使用 NVIDIA NeMo 开源库对模型进行后训练以满足这些需求。开发者可以使用 NVIDIA NeMo AutoModel 进行监督微调（SFT）和低秩适应（LoRA）来教授领域特定行为。强化学习（RL）可提升在反映组织工作流的智能体环境中的性能。
除 Nemotron 3.5 Super VL 外，NVIDIA 还在 Hugging Face 上发布开放数据集。这些包括智能体工具使用和对话数据、金融推理和工具调用数据集、指令遵循和聊天数据、长上下文转导和翻译数据、公平性数据以及 40 个视觉语言数据集。这些数据集可以补充专有数据用于 SFT 和 RL。
对于多模态数据，请从 NeMo Data Designer 资源开始，用于图表问答和长文档理解。探索 NVIDIA NeMo RL 和 NVIDIA NeMo Gym 用于 RL 和基于环境的评估。
组织可以在支持的本地、数据中心或云环境中调整和部署模型的开放权重，以满足其基础设施和数据要求。有关定制资源，请参阅 GitHub 上的 Nemotron 3.5 Super VL 使用手册。
在一个工作流中结合文本和视觉理解
Nemotron 3.5 Super VL 将文本、图像、文档和视频理解与推理和指令遵循相结合，以回答这些输入中的问题。
其视觉训练涵盖图表、表格、光学字符识别（OCR）、多页文档和视频理解。一个两阶段 SFT 流水线训练语言和视觉组件，将视觉证据与推理、聊天、安全、长上下文数据和智能体轨迹相结合。
在文档智能方面，同一模型可以解读图表，将其与文档中其他位置的表格关联起来，并对两者进行总结。开发者可以根据自己的文档和评估标准定制工作流程。
使用 NeMo Data Designer 生成的多样化训练数据帮助模型更好地理解复杂图表。在图表推理基准 CharXiv 上，该模型得分为 80.8%，而 Nemotron 3 Nano Omni 为 63%。借助 Python 代码解释，其得分达到 84%。关于方法和经验教训，请阅读图表理解深度解析和开源图表问答流水线。
该模型是在 Nemotron Coalition 组织的支持和专业知识下构建的。例如，来自 Perplexity 的高质量数据集帮助改进和简化了模型的中期训练。来自 Prime Intellect 的环境使得构建更好的教师模型成为可能。
Nemotron 3.5 Super VL 也是 OCRBench v2 排行榜上排名靠前的开放模型之一。
跨智能体任务的准确性与效率
Nemotron 3.5 Super VL 的评估涵盖 Hermes、LangChain、OpenClaw、OpenCode、Pi、Codex 和 Claude。除了编码任务外，智能体框架提供商还使用自己的评估来测试广泛的智能体任务。在 Hermes Bench 和 LangChain 行为评估上，Nemotron 3.5 Super VL 的得分高于 Nemotron 3 Ultra。
模型 |
| Hermes Bench |
|---|
LangChain Evals表 1. Nemotron 3.5 Super VL 在 Hermes Bench 和 LangChain 评估上的得分高于 Nemotron 3 Ultra
对于始终在线的智能体，效率决定了部署可以完成多少工作。吞吐量、token 使用量、工具调用以及达到正确结果所需的步骤都会影响任务完成时间。
图 3. Nemotron 3.5 Super VL 利用更高的吞吐量和 token 效率实现快 4 倍的任务完成速度
该模型还针对在 NVIDIA DGX Spark 上本地运行进行了优化。EXO Labs 的一项独立评估将 Nemotron 3.5 Super VL 置于准确性和任务完成时间的帕累托前沿。
图 4. Nemotron 3.5 Super VL 在 DGX Spark 上为智能体任务平衡了准确率与速度
Nemotron 3.5 Super VL 内部机制
该模型建立在强大的基础之上，采用混合架构、投机解码、上下文复用和混合精度，以减少重复智能体调用中的推理工作量。
构建强大的基础模型
Nemotron 3.5 Super VL 是从 Nemotron 3 Ultra 蒸馏而来。Ultra 的编码能力，结合蒸馏过程中使用的 SkewReverse 损失，帮助提升了编码准确率。
在后训练期间，多教师同策略蒸馏（MOPD）结合了来自文本和视觉领域专业教师的指导。模型生成响应，教师则针对视频推理与跟踪、视觉工具使用和对齐进行评分。
在智能体动作、代码仓库和软件工程任务示例上的额外训练提升了模型在智能体任务上的表现。在多种评估设置下，Nemotron 3.5 Super VL 在 SWE-bench 和 Terminal-Bench 上均优于 Nemotron 3 Super。
使用高质量自然和合成数据进行的持续预训练提升了印度语言能力，并促成了后训练后整体分数的提高。此阶段添加了 100 亿印度语言 token，取自 Nemotron-pretraining-Indic-v1 的 12 种语言子集和自然印度语言文本。
NVIDIA 正在发布完整数据集，该数据集包含约 2.8 万亿 token，覆盖 22 种印度语言，并与 IIT Madras 及其 AI4Bharat 实验室合作开发。以下结果基于后训练后的 Nemotron 3.5 Super VL。
图 5. 得益于专门的印度语言数据，Nemotron 3.5 Super VL 在印度语言基准测试中实现了领先的准确率
开发者可以使用 NeMo 在此基础上进行构建，并针对其应用定制 Nemotron 3.5 Super VL，使其推理和智能体能力适配其数据、工具和工作流。
LiLiCorr：一种开放的投机解码技术
LiLiCorr 通过联合评估整个草稿中的 token 候选，改进了并行投机解码，捕捉独立 token 预测所遗漏的依赖关系。一个轻量级网络在单次前向中计算兼容性分数，以生成更连贯的草稿，仅保留低成本的顺序最终选择步骤。
在 DGX Spark 上，LiLiCorr 是使用 Nemotron 3.5 Super VL 进行低延迟推理的推荐草稿器。与无投机解码相比，它可实现高达 2.3 倍的 token 生成速度。
NVFP4 与混合精度
该模型使用 NVIDIA Model Optimizer 进行训练后量化和量化感知蒸馏（QAD）。NVFP4 方案在 NVIDIA Blackwell 架构 上使用 4 位权重和激活。同一检查点在非 Blackwell 平台上以 4 位权重和 16 位激活运行。对敏感组件单独选择精度。
NVFP4 使模型更小，而 QAD 帮助其在较低精度下保持准确率。在 QAD 期间，量化模型学习匹配原始 BF16 模型的输出，从而弥合量化引入的准确率差距。QAD 还支持将键值（KV）缓存以 NVFP4 而非 FP8 存储，同时仍满足准确率目标。由于 QAD 在训练期间进行，它不会增加推理开销。
多 token 预测
多 token 预测（MTP）为 Nemotron 3.5 Super VL 提供了一个内部草稿模型，它提出多个 token 供主模型在一次前向传播中验证。一次接受多个 token 可减少生成响应所需的计算密集型验证步骤数量。
一个专门的 MTP 增强训练阶段进一步使草稿模型与最终模型对齐。
跨智能体轮次的上下文复用
智能体会反复将系统指令、工具定义和对话历史传回模型。前缀缓存会复用这些共享输入的计算。
该模型的服务优化同时保留注意力缓存和 Mamba 循环状态。额外的 Mamba 检查点减少了为推测解码恢复输入所需的重放，而内部检查点机制避免了提示处理期间额外的模型前向传播。
使用 NVIDIA NIM 和 NVIDIA Dynamo 简化生产部署
NVIDIA NIM 将模型与优化的推理引擎、经过验证的配置以及用于云和数据中心部署的标准 API 打包在一起。NIM 会持续获得安全性、功能和性能更新。企业支持可通过 NVIDIA AI Enterprise 获得。从 NIM 开始使用。
NVIDIA Dynamo 支持分布式推理优化，以提高吞吐量并降低延迟，包括 KV 缓存感知路由、KV 缓存管理和分离式服务。
在 16 块 NVIDIA B200 GPU 上，以每用户每秒 50 token 的速率，结合会话亲和性的 KV 感知路由和 KV 缓存卸载可服务多达 8 倍的用户，同时将首 token 延迟降低 85%。从 Dynamo 部署配方 开始使用。
图 6. NVIDIA Dynamo 在相同每用户 token 速率下服务 8 倍多的用户，并将首 token 延迟降低 85%
开始使用 Nemotron 3.5 Super VL
构建具有多模态推理和工具使用的专用智能体。针对专门的工作流自定义模型，然后将其部署到受支持的环境中。
本次发布包含基础版、后训练版以及 NVFP4 量化版检查点，并附带训练配方、数据和强化学习环境。
有关模型详情，请参阅 Nemotron 3.5 技术报告；有关部署说明，请参阅 Hugging Face 或 ModelScope。如需托管模型访问，请参阅 OpenRouter。
合作伙伴生态系统
合作伙伴为 Nemotron 3.5 Super VL 在特定领域工作流中的定制与部署提供支持。
查看合作伙伴：
后训练
AfterQueryAgileRLAI21Alice- Applied Compute
BasetenBespoke Labs- Databricks
distil labsFastino Labs- Fireworks AI
HandshakeMercorMindbeamms-swiftMultiverse ComputingPrime IntellectReasonableRiver AIScale AIThinking Machines Lab (Tinker)TNGTrajectory
推理软件
Actual Computer- Canonical
测试框架与智能体框架
云平台
- Amazon SageMaker JumpStart Google Cloud Gemini Enterprise Agent Platform- MSFT Foundry
- OCI Enterprise AI
全球系统集成商
- HCLTech
- Infosys
- Tata Consultancy Services
硬件与基础设施
AI 原生企业
托管推理服务提供商