我们很高兴在 AI 原生云 Together AI 上线 NVIDIA Nemotron 3 Super。Nemotron 3 Super 面向多智能体编排和复杂推理打造，是一款 120B 参数（激活参数 12B）的混合模型，结合了 Transformer 与 Mamba 架构。
在 Together AI Dedicated Inference 上运行 Nemotron 3 Super，工程团队可以把这款开放权重模型部署在为高吞吐量推理工作负载设计的托管基础设施上。
面向智能体工作流的架构能力
现代智能体系统需要分析海量文档库或编排多步骤规划，这就要求模型能在长上下文中保持状态，同时不牺牲生成速度。Nemotron 3 Super 引入了多项架构创新，使其非常适合这类工作负载：
- 混合 MoE 架构（Transformer + Mamba）：通过将 Mamba 高效的序列处理与 Transformer 注意力相结合，模型在保持强大推理能力的同时，把激活参数量（120B 中的 12B）控制在较低水平，从而加快推理速度。其 Latent MoE 设计使模型能以调用一个专家的推理成本调用四个专家，提升推理密集型工作负载的效率。
- 100 万 token 上下文窗口：100 万 token 的上下文长度让应用可以处理整个代码库，在很长的智能体轨迹中保持状态，并把规模大得多的检索内容直接注入提示词。
- 多 token 预测（Multi-Token Prediction）：Nemotron 3 Super 经过训练，可在一次前向传播中同时生成多个 token。对于代码生成或结构化响应等产出大量输出的应用，这能大幅降低生成延迟，token 生成速度比当前领先的开放模型高出 50% 以上。
为了在 AIME 2025 和 SWE Bench verified 等基准测试中取得领先的准确率，该模型采用多环境强化学习（RL）和 NVIDIA 生成的高质量合成数据进行训练。由于 NVIDIA 提供了模型的开放权重、数据集和开发方法，工程团队可以完全自主地针对特定环境对模型进行定制和微调。
在 Together AI 上运行 Nemotron 3 Super
部署一个 120B 参数、上下文窗口达 100 万 token 的混合模型，通常需要跨多个节点的分布式计算。Nemotron 3 Super 可通过 Together AI Dedicated Inference 使用，提供同时适合实验和生产规模的基础设施环境，无需承担 GPU 配置的运维负担：
- 单 GPU 部署：该模型经过优化，可在单 GPU 占用下运行相互协作的智能体，支持部署在单张 NVIDIA H200 或 H100 GPU 上。Together AI 负责底层基础设施编排，团队无需直接配置或管理 GPU 即可部署这些工作负载。
- 研究驱动的性能优化：高效运行混合 MoE 架构需要经过精细调优的服务软件。Together AI 通过 Together Inference Engine 和定制 CUDA kernel 加速模型执行。这套技术栈帮助团队在线上推理时获得更低的延迟和更高的吞吐量。
- 生产级隔离：Dedicated Inference 将工作负载隔离在预留硬件上，以保障大规模场景下可预测的吞吐量和稳定的性能。该平台运行在企业级基础设施之上，包括 99.9% 的可用性 SLA 和 SOC 2 合规。
快速上手
开发者现在即可开始在 Together AI 上使用 Nemotron 3 Super 进行构建。
运行大上下文推理工作负载、部署多智能体系统、扩展生产环境推理，而无需管理 GPU 基础设施。
常见问题
什么是 NVIDIA Nemotron 3 Super？
NVIDIA Nemotron 3 Super 是一款混合专家（MoE）推理模型，专为复杂的 AI 工作流和多步骤问题求解而设计。它结合 Transformer 与 Mamba 组件，在提供强大推理能力的同时保持高效推理。
Nemotron 3 Super 采用什么架构？
Nemotron 3 Super 采用混合专家架构，将 Transformer 注意力与 Mamba 序列处理相结合。这种设计在保持强劲推理表现的同时提升了计算效率。
Nemotron 3 Super 支持多长的上下文？
Nemotron 3 Super 支持最长 100 万 token 的上下文窗口，使应用能够分析大型文档集合、维持长对话，并在推理工作流中纳入大量检索上下文。
哪些类型的应用可以使用 Nemotron 3 Super？
Nemotron 3 Super 非常适合协调多个智能体或跨大型知识源运行的应用。例如：分析和重构代码库的开发者助手、处理大型文档集合的企业系统、对漏洞进行分诊或分析系统日志的网络安全工作流，以及根据用户意图把任务路由给各专业智能体的编排系统。
开发者如何在 Together AI 上运行 Nemotron 3 Super？
Nemotron 3 Super 通过 Dedicated Model Inference 部署在 Together AI 上。专用部署让团队可以在为生产工作负载设计的预留基础设施上运行模型，性能可预测。
开发者需要自己管理 GPU 吗？
不需要。Together AI 负责管理底层基础设施，开发者无需直接配置 GPU 资源即可部署和扩展 AI 工作负载。
为什么用 Together AI 来运行这些工作负载？
Together AI 提供为大规模 AI 系统设计的基础设施，包括可靠的推理、无服务器（serverless）扩缩容，以及面向现代 AI 应用的托管基础设施。