Meta 发布 Muse Spark Open，这是一个针对编码优化的 816B 混合专家（MoE） 模型，拥有 42B 激活参数和 1M token 上下文窗口。该模型在 NVIDIA GB300 NVL72 Blackwell Ultra 上专门针对智能体编码工作流进行训练，可提供更高的首次尝试准确率、可靠的工具调用以及对代码库的深度理解。1M token 上下文窗口可容纳整个项目，包括复杂依赖、遗留代码和数千个文件，而无需将任务拆分成多个部分。
作为一个推理模型，Muse Spark Open 在图像和文档理解之外增加了音频和视频感知，能够在其所见、所闻和所读的内容上原生且可靠地工作。由 Meta 生成并针对 NVIDIA Blackwell Ultra 优化的 NVFP4 检查点，通过原生 FP4 Tensor Core 加速，缩小了全部 816B 参数的内存占用。每个 token 移动的字节更少，从而提高每用户每秒 token 数，而释放出的内存可支持更大的 KV 缓存以用于并发长上下文会话，从而提供更高吞吐量和更低的每 token 成本。
专为跨文本、图像、视频和音频的智能体编码多模态理解而定制
通用编码模型针对单次补全进行优化，例如生成函数、编写单元测试或建议内联修复。它们擅长上下文较小且答案即时的离散、范围明确的任务。智能体编码则要求根本不同的能力。规划多文件重构、浏览数千个文件、从失败测试中恢复，以及在长时间跨度内协调子智能体，都需要一个为持续、多步骤工作而构建的模型。
Muse Spark Open 正是为这些工作负载而构建，可提供更高的首次尝试准确率、可靠的工具调用以及对代码库的深度理解。它能够规划、行动、观察和自我纠正。它支持多步骤任务执行，包括工具使用、输出评估和迭代改进。该模型使用目标条件来保持方向，并使用上下文压缩来保留在长时间运行的会话中维持进展所需的知识。凭借 1M token 上下文窗口，它可容纳整个项目，包括复杂依赖、遗留代码和数千个文件，而无需将任务拆分成多个部分。
除编码之外，它还可以搜索网页（包括多模态浏览），为可分解任务生成并协调子智能体，并利用跨桌面、移动端和浏览器统一的计算机使用能力。它在每个操作之前生成单独的评论，以便开发者了解智能体正在做什么以及为什么这样做。
该模型的 1.8B 感知编码器原生处理交错的文本、图像、视频帧和音频，而无需为每种模态单独设置流水线。这意味着模型在单次统一传递中对其所见、所闻和所读的内容进行推理。这适用于在同一智能体会话中跨越截图、图表、错误日志和视频演示的开发者工作流。稀疏 MoE 路由每个 token 仅激活 816B 总参数中的 42B，以相当于同等规模密集模型一小部分的 serving 成本，提供前沿的智能体能力。
图 1。Muse Spark Open 稀疏 MoE 架构通过 256 个专家中的 top 8 路由，每个 token 激活 816B 参数中的 42B
*视频 1。*Muse Spark Open 通过带旁白的屏幕录制诊断 bug，阅读代码库以确定根本原因## Muse Spark Open 在 GB300 NVL72 上的优化性能
NVIDIA GB300 NVL72 采用机架级架构，将 72 个 NVIDIA Blackwell Ultra GPU 集成到单一平台中。其大型 72-GPU NVIDIA NVLink 域可实现 130 TB/s 的高效通信，消除了当专家流量必须跨越传统现成网络时出现的瓶颈。对于像 Muse Spark Open 这样的稀疏 MoE 模型，它将每个 token 路由到 256 个专家中的 8 个，该带宽直接决定了部署能实现多少理论吞吐量。
代理工作负载将静态的单轮交互转变为多步骤工作流，这些工作流会推理、调用工具、协调子代理，并从一个回合到下一个回合携带不断增长的上下文。开箱即用，在 NVIDIA GB300 NVL72 上运行代理工作负载的 Muse Spark Open 每 GPU 每秒可提供高达 50K 的吞吐量，每用户每秒可提供高达 600 个 token，使 AI 工厂能够以高吞吐量和低延迟在生产中运行大型参数模型。
*图 2。运行代理工作负载，*在四个 NVIDIA Blackwell GPU 上使用推测解码的 Muse Spark Open 实现了每 GPU 每秒超过 50K token 和每用户超过 600 token## Muse Spark Open 的灵活部署选项
NVIDIA 支持多种推理栈以满足各种开发人员需求。SGLang, vLLM 和 TensorRT LLM 让开发人员可以直接控制 NVIDIA 加速计算平台上的服务配置、并行性和批处理。TensorRT LLM 添加了针对 NVIDIA GPU 调优的编译引擎。NVIDIA Dynamo 为所有三种发布部署配方，并将预填充与解码分离到专用 GPU 池中，因此计算密集型的提示处理不会减慢 token 生成。其 KV 缓存感知路由将每个请求发送到已持有相关前缀的工作线程，避免在长代理会话中上下文累积时进行预计算。
使用 NeMo AutoModel 和 Megatron Bridge 对 Muse Spark Open 进行后训练
开发者可以使用 NVIDIA NeMo AutoModel 在特定领域数据集上对 Muse Spark Open 进行后训练，这是一个 PyTorch 原生训练库，原生支持 Hugging Face 检查点，无需进行模型转换。它开箱即用地支持完整 SFT 和 LoRA 微调，并针对各类行业特定场景的快速实验进行了优化。
开发者还可以利用 NVIDIA Megatron Bridge 在准备好进行大规模生产训练时，将 Hugging Face 检查点转换为 Megatron 格式，以充分利用这些优化。
GPU 加速的 Muse Spark Open 入门
要开始使用，请从 Hugging Face 下载 Muse Spark Open NVFP4 权重。对于生产部署，请试用可下载的 NVIDIA NIM。NIM 将设置简化为一条命令，用一个容器取代了基准测试和调优周期，该容器会自动为检测到的硬件选择最佳的服务后端和精度。