NVIDIA Nemotron™ 3 Nano Omni 现已在 Together AI 平台上线。Nemotron 3 Nano Omni 是多模态 AI 的一次重要进步，它是一个单一的开放模型，能够跨视频、图像、音频和语言进行推理。对于构建智能体应用的开发者来说，Together AI Dedicated Inference 是最快的上手和扩展方式。
为什么在 Together AI 上运行
Together AI 是 AI 原生云，一直是那些希望以快速、实惠、可靠的方式获取全球最优秀开放模型、进行生产级规模推理的开发者的首选平台。
Nemotron 3 Nano Omni 通过执行链式动作来统一跨模态的上下文，这对需要确定性行为的智能体往往至关重要。这意味着智能体可以同时对音频输入（如录音或转写文本）、屏幕截图、视频和结构化文档等视觉输入进行推理，而不必把这种理解拆散到多次独立的推理过程中。
1. Together AI 的研究优化释放模型的全部架构潜力
Nemotron 3 Nano Omni 采用 Mamba-Transformer 混合专家（MoE）架构，每个 token 仅激活总计 30B 参数中的约 3B，并使用多 token 预测（MTP），在一次前向传播中同时生成多个未来 token。Together AI 的技术栈由前沿 AI 系统研究驱动，能够实现高吞吐量、高性价比、始终保持低延迟的生产级推理。再搭配这款全新的、高效且高精度的 Nemotron 3 Nano Omni 模型，意味着更快的多模态推理，以及单位算力下更高的智能水平。
2. 为智能体化、生产级规模推理工作负载打造的托管基础设施
智能体应用依赖可预测的性能。Together AI 在流量高峰下提供可靠的性能、高可用性和 token 流式输出，帮助智能体循环即使在长上下文或持续决策任务中也能保持响应及时。开发者无需管理基础设施，即可在 Together AI 上快速部署 Nemotron 3 Nano Omni，并从原型无缝扩展到生产。这种全托管环境消除了运维负担，让团队专注于构建，而不是维护 GPU。
3. 安全、可用于生产的平台，保护你的数据
Together AI 提供简单、对开发者友好的 API，使 Nemotron 3 Nano Omni 易于集成到多智能体框架、规划系统和多模态系统中。结合稳定且安全的 API，该平台为组织提供了可信赖的基础，可在大规模部署 AI 的同时不必以安全换取速度。
Nemotron 3 Nano Omni 的优势所在
如今大多数生产环境的 AI 系统通过碎片化的流水线处理多模态输入：一个模型负责视觉，另一个负责音频，再一个负责文档，并用自定义的编排逻辑把它们拼接起来。这种架构中的每一道接缝都是潜在的故障点，会带来额外的延迟、错位的上下文，以及跨模态累积的错误。
Nemotron Nano Omni 消除了这些接缝。
30B A3B 模型基于混合专家（MoE）架构和 Transformer-Mamba 混合设计，在单一连贯的推理循环中支持最长 256K token 的共享多模态输入上下文。这使得智能体可以理解音频输入（如转写文本）、屏幕截图等视觉输入以及相关文档，而不必把这种理解拆散到多次独立的推理过程中。
效率方面的收益十分显著：
- 减少对多模型流水线的需求，降低系统复杂度
- 更高效地处理视频、音频和文档类多模态工作负载
- 提升长上下文智能体应用的吞吐量和可扩展性
- 灵活部署，支持 NVIDIA Hopper、NVIDIA Blackwell 等平台上的 FP8 和 NVFP4
而且它是完全开放的：开放权重、开放数据、开放后训练方法。开发者可以在任何地方部署，无论云端、本地还是物理隔离环境，拥有完整的数据控制权，也不会被模型锁定。
你可以构建什么
把感知与推理统一在一个模型中，开辟了以往因过于复杂或成本过高而难以投入生产的应用场景：
客户服务智能体可以同时对通话录音、屏幕录制和政策文档进行推理，既理解用户意图，也理解系统上下文。
金融分析师智能体可以跨财报电话会议音频、投资者演示视频、扫描的图表图像和 SEC 文件进行推理，产出有据可依的洞察，而不是流于表面的摘要。
计算机使用智能体通过屏幕录制查看 UI、解读指令，并对照约束文档验证操作，这一切都在单一的推理上下文内完成。
任何以前需要拼装多模型技术栈的应用，现在都有了一条更清晰的生产落地路径。
快速上手
NVIDIA Nemotron 3 Nano Omni 现已在 Together AI 上可用。