NVIDIA Cosmos：面向交互式仿真的世界模型开发与部署指南

使用世界模型的物理 AI 开发者面临两个不同的挑战：使模型适配其传感器、任务和数据，以及将这些模型可靠地投入应用。

NVIDIA Cosmos 分别解决了这两个问题。Cosmos 是一个面向物理 AI 的世界基础模型与开发工具平台。Cosmos Framework 提供用于世界模型训练、多模态数据处理、优化和推理的 agent 技能与配方。Cosmos NIM 微服务 通过应用 API 支持 GPU 加速的服务。

本文对两者都进行介绍。仿真部分展示如何使用 Cosmos Framework 的推理配方和 agent 技能，为自动驾驶、机器人和手术场景生成同步的相机视频与 LiDAR 观测，起点是今天即可运行的已发布检查点。部署部分展示如何为你的 GPU 选择 NIM 配置、启动容器、验证就绪状态，并发送第一个推理请求。

何时使用 Cosmos Framework 进行世界模型开发

Cosmos Framework 是一个开放且完全模块化的框架，用于世界模型训练、模型优化和推理，借助新的 agent 技能支持完整的模型开发生命周期。它正在从 Cosmos 3 扩展，以支持 NVIDIA Alpamayo、GR00T、Qwen、pi0.5 以及其他兼容的 Hugging Face 模型。

训练

• 使用新技能，在文本、图像、视频、音频和动作上更快地训练模型。
• 使用 LoRA 进行参数高效适配，或使用全监督微调（SFT）更新所有模型参数。
• 通过 JSONL、WebDataset、LeRobot 或自定义适配器加载数据，跨 GPU 训练并保存检查点以恢复运行。
• 将你的 agent 指向后训练技能，以加速并实现自动化。

应用强化学习

• 该平台现在涵盖在线和离线 RL 路径。新支持的流水线包括：
  • DPO：离线偏好优化。
  • GRPO：使用规则或模型奖励以及 vLLM rollout 的在线 RL。
  • PPO：带有冻结参考模型和 critic 的 actor-critic RL，包括仿真中具身策略的 RL。
  • OPD：从冻结教师模型进行同策略蒸馏。
  • DiffusionNFT：面向扩散世界模型的在线 RL。
• 在共享 GPU 或独立资源池上运行 rollout、奖励和训练角色。
• 连接支持的模拟器以收集经验。

优化模型与推理

• 蒸馏模型以减小模型规模或生成步数；量化模型以减少内存占用。
• 使用 Hugging Face Diffusers、PyTorch、SGLang、vLLM-Omni、vLLM、TRT-LLM 和 TRT-Edge-LLM 或 NVIDIA NIM 运行兼容的检查点。
• 评估质量、准确性和 GPU 使用情况，并最大化计算利用率。

在 Cosmos Framework 中使用 agent

加载 .agents/skills 下的 setup、inference、post-training 和 troubleshooting 技能。给 agent 一个有边界的任务：

提示：在 <dataset> 上使用 <recipe> 对 <checkpoint> 进行后训练。固定所有修订版本，验证数据集，并将训练和评估回合分开。运行冒烟测试，保存配置，并在 <N> GPU 小时处停止。导出并在留出数据上使用三个随机种子与基础模型进行比较。在支持的较低精度下重复评估；记录质量、峰值内存和延迟。

应该使用哪种 Cosmos 仿真工作流？

Cosmos Framework 提供用于机器人仿真、逼真场景生成、多相机驾驶仿真和手术策略评估的后训练与推理配方。新的 Cosmos 3 Nano 仿真配方和示例检查点使开发者能够使用 agent 可运行技能来评估我们的示例检查点，并使 Cosmos 3 Nano 适配自定义传感器、动作空间和数据领域。

这些检查点支持 PyTorch 和 vLLM-Omni，已在 NVIDIA Hopper 和 Blackwell GPU 上测试。使用配方选择 GPU 数量、内存配置和推理设置。

自动驾驶仿真：

两个自动驾驶检查点都接受提示词和世界场景地图（WSM）控制，后者表示车道、物体、道路标线、交通标志和道路边界。联合 RGB–LiDAR 生成还使用 HD 地图距离图控制，并支持可选的初始 LiDAR 观测。提示词描述天气、光照、一天中的时间、道路状况，前缀提供相机装置和视场上下文。可选的初始相机图像提供视觉上下文，以引导生成场景的外观。

Cosmos3-Nano-Transfer-Auto 使用双向生成一次性对整个多视角片段去噪，用于离线合成数据生成。它支持 30 fps 输入和输出视频，在 480p 或 720p 下最多 400 帧；更长的序列可通过自回归分块生成。更改提示词可将白天行驶变为雨夜，同时保持相同的道路布局和车辆轨迹。使用这些变化来训练和评估跨天气和光照条件的感知与驾驶模型。

完成 Framework 设置后，从仓库根目录运行下面的四 GPU 示例。对于 Transfer-Auto，使用已发布的示例配置，其中包含七个同步 WSM 视频、每相机字幕、首帧 RGB 条件和 HD 地图 LiDAR 控制。有关设置、输入准备和输出细节，请参阅Transfer-Auto 推理指南。

export COSMOS_TRAINING=0 COSMOS_INTERNAL=0

hf download nvidia/Cosmos3-Nano-Transfer-Auto \
  --local-dir checkpoints/Cosmos3-Nano-Transfer-Auto

AUTO_SAMPLE_ROOT="$PWD/checkpoints/Cosmos3-Nano-Transfer-Auto/assets/sample_data"
AUTO_NEGATIVE_PROMPT="$(cat .agents/skills/cosmos3-nano-transfer-auto/inference/assets/negative-prompt.txt)"

torchrun --standalone --nproc-per-node=4 \
  -m cosmos_framework.scripts.inference \
  -i "$AUTO_SAMPLE_ROOT/input-transfer-auto.jsonl" \
  -o outputs/transfer_auto \
  --checkpoint-path checkpoints/Cosmos3-Nano-Transfer-Auto \
  --resolution 720 --num-steps 35 \
  --per-view-negative-prompt "$AUTO_NEGATIVE_PROMPT" \
  --cp-size 4 --cfgp-size 1 \
  --no-use-torch-compile --no-diffusion-cache

参考运行会生成七个 720p 视频（30 FPS 下 297 帧）和 99 次 LiDAR 扫描。检查 sample_outputs.json 是否成功，检查 lidar.safetensors 是否为有限的距离和强度值，然后验证 WSM 对齐以及各相机视角和 LiDAR 之间的一致性。

有关自定义场景和装置适配，请参阅WSM 渲染器和Transfer-Auto 后训练指南。有关点云转换和可视化，请参阅LiDAR 可视化工具

▶ https://developer.download.nvidia.com/devblogs/mads94-093-i2v-surround-grid-v5-master.mp4

视频 1. 使用 Cosmos3-Nano-Transfer-Auto 生成环视视频和 LiDAR

Cosmos3-Nano-Sim-Auto 是 Cosmos3-Nano-Transfer-Auto 的因果、少步蒸馏变体，支持自回归流式生成。当 AV 策略或人类驾驶输入通过 WSM 渲染器更新场景时，它会增量生成观测。生成的相机和 LiDAR 观测返回给策略，从而实现闭环评估

对于 Sim-Auto，使用已发布的 Sim-Auto 示例检查点和预渲染的 WSM 控制来复现参考 rollout，以自回归方式生成同步的相机视频和 LiDAR 观测。有关设置、输入配置和输出详情，请参阅Sim-Auto 推理指南。

export COSMOS_TRAINING=0 COSMOS_INTERNAL=0

hf download nvidia/Cosmos3-Nano-Sim-Auto \
  --local-dir checkpoints/Cosmos3-Nano-Sim-Auto

hf download nvidia/Cosmos3-Nano-Transfer-Auto \
  --include 'assets/sample_data/*' \
  --local-dir checkpoints/Cosmos3-Nano-Transfer-Auto

AUTO_SAMPLE_ROOT="$PWD/checkpoints/Cosmos3-Nano-Transfer-Auto/assets/sample_data"

torchrun --standalone --nproc-per-node=4 \
  -m cosmos_framework.scripts.inference \
  -i "$AUTO_SAMPLE_ROOT/input-sim-auto.jsonl" \
  -o outputs/sim_auto \
  --checkpoint-path checkpoints/Cosmos3-Nano-Sim-Auto \
  --cp-size 4 --cfgp-size 1 \
  --no-use-torch-compile --no-diffusion-cache

有关人工控制的 rollout，请参阅Sim-Auto Interactive Drive。

Sim-Auto 参考运行会写入 outputs/sim_auto/daytime_scene/。应用上文针对 Transfer-Auto 描述的相同输出检查。

▶ https://developer.download.nvidia.com/devblogs/transfer-layout-under60mb.mp4

视频 2. 使用 Cosmos3-Nano-Sim-Auto 生成多视角视频和 LiDAR

机器人仿真：

Cosmos3-Nano-Sim-Transfer 将深度视频和提示转换为具有不同光照、纹理和背景的 RGB 视频，同时保留几何结构和运动。对于机器人演示，它会改变第三人称视角，同时保留动作、状态和腕部相机记录。

▶ https://developer.download.nvidia.com/devblogs/transfer-depth-grid.mp4

视频 3. 使用语言提示将深度、分割、边缘或模糊视频转换为详细的 RGB 观测，同时仿真器保持物理状态

Cosmos3-Nano-Sim-Bimanual 根据场景和机器人动作生成下一视觉观测。它支持 YAM 和 AgiBot 本体的交互式双臂仿真，由策略或人工操作的操纵杆控制。

在这里，Sim-Transfer 根据物理仿真器更新后的状态生成视觉内容；Sim-Bimanual 直接根据场景和机器人动作生成下一观测。

手术仿真：

由于其复杂的多物理特性，手术环境是经典仿真器面临的最具挑战性的场景之一。生成式仿真提供了一种互补方法：世界基础模型不显式建模场景几何、组织变形和物理交互，而是直接从同步的手术视频和机器人运动学中学习视觉动态。

Cosmos3-H-Embodied-Nano 基于 Cosmos3 构建，并在 Open-H-Embodiment 上进行后训练，可根据机器人动作生成手术视频、根据视频预测动作，或同时生成两者。它接收初始 RGB 帧、任务提示、最近 16 个已执行动作以及后续机器人动作。开发者可以使用它生成合成数据并离线评估策略，而无需构建手术场景的物理模型。

Cosmos3-H-Dreams 让开发者测试手术策略在手术过程中如何响应，每个动作都会影响接下来发生的事情。该模型从 Cosmos3-H-Embodied-Nano 蒸馏而来，是一种因果、少步模型，可根据实时机器人运动学生成帧，用于由人类或学习策略控制的实时闭环仿真。这为开发者提供了一个交互式环境，可在物理硬件上测试之前探索手术操作并评估策略。

何时使用 Cosmos NIM 进行加速推理

除了开源推理工具外，新的 Cosmos NIM 包在优化容器中支持模型以加速推理，使 Cosmos 模型易于部署。

• 更快推理，更少内存：通过量化、推测解码、缓存、token 剪枝和 KV-cache 感知路由来加速推理。推测解码在 H200 上实测平均加速约 2–3 倍。
• 自定义模型和实时视频理解：提供微调后的 Cosmos 检查点，并通过流式 VLM 推理处理实时流，实现亚秒级警报，延迟降低 10 倍，从而更快响应事件。
• 更简单的生产部署：自动配置选择、在受支持的 GPU 上经过验证的性能和质量、许可支持，以及每季度功能、优化和安全更新。

GPU 内存需求

如何启动 Cosmos NIM

使用上表选择 GPU 和模型配置，并按照部署指南在 Linux 上安装所需的 NVIDIA 驱动、Docker 和 NVIDIA Container Toolkit。登录NGC API Keys，选择Generate Personal Key，并启用NGC Catalog访问权限。在终端中将密钥设置为 NGC_API_KEY：

export NGC_API_KEY='paste-your-key-here'

以下命令在 GPU 0 上启动 Nano Generator。确保已安装 curl 和 python3，并且有足够的磁盘空间用于镜像和模型缓存。所示的缓存权限适用于本地开发。

: "${NGC_API_KEY:?Export your NGC API key first}"
printf '%s' "$NGC_API_KEY" | docker login nvcr.io \
 --username '$oauthtoken' --password-stdin

export NIM_IMAGE='nvcr.io/nim/nvidia/cosmos3:2.0.0'
export LOCAL_NIM_CACHE="$HOME/.cache/nim/cosmos3"
mkdir -p "$LOCAL_NIM_CACHE"
chmod a+rwX "$LOCAL_NIM_CACHE"

docker run -d --name cosmos3-generator \
 --gpus '"device=0"' \
 --shm-size 16g \
 --ulimit memlock=-1 \
 --ulimit stack=67108864 \
 --ulimit nofile=65536:65536 \
 -p 8000:8000 \
 -e NGC_API_KEY \
 -e NIM_MODEL_TYPE=generator \
 -e NIM_MODEL_VARIANT=nano \
 -e NIM_PERF_PROFILE=latency \
 -v "$LOCAL_NIM_CACHE:/opt/nim/.cache" \
 "$NIM_IMAGE"

等待就绪（约几分钟），然后检查所选模型和配置：

curl -fsS http://localhost:8000/v1/health/ready
curl -fsS http://localhost:8000/v1/metadata | python3 -m json.tool

要检查启动进度，请在另一个终端中运行 docker logs -f cosmos3-generator。现在可以开始生成了。

选择延迟或吞吐量：

• 延迟（默认）：优先更快完成单个请求。选择它进行交互式实验；支持的多 GPU 配置会在一个请求上共同使用多个 GPU。
• 吞吐量：优先随时间完成更多请求。选择它进行数据集生成或面向并发用户；独立副本并行处理请求。

在容器启动时设置 NIM_PERF_PROFILE。这些设置适用于 Generator；吞吐量优势需要并发请求。延迟支持 1、2、4 或 8 个 GPU，而吞吐量需要 2、4 或 8 个兼容 GPU。在单 GPU 示例中仅将 NIM_PERF_PROFILE 改为 throughput 将导致配置选择失败。

开始使用

探索 Cosmos Framework，并使用其智能体技能和参考配方来为你的应用训练、定制和优化模型。从与你的任务匹配的仿真检查点开始，复现参考工作流，并使其适配你的传感器、动作和数据。

阅读完整的技术报告。

欢迎参加11 月 5 日（周四）的直播，了解如何使用 Cosmos Framework。

使用全新的 Certified Cosmos NIM，在 20 多种 NVIDIA GPU 上以最佳性能部署 Cosmos 模型进行推理和生成。