智能体式 AI 工作流可用于为物理 AI 系统准备和验证数字孪生。智能体可以检查 3D 场景,在 OpenUSD 中编写与仿真相关的数据,添加物理属性,渲染预检视图,并依据仿真就绪(SimReady)要求验证结果。本工作流遵循这一过程,从 Blender 中的场景出发,最终为 NVIDIA Isaac Sim 或 NVIDIA Isaac Lab 交付一份仿真就绪的 OpenUSD 成品。
不过在实践中,如果你在为机器人构建智能体,这一流程往往会卡住。人们很容易把难点归咎于策略、模型或训练循环,但瓶颈通常出现得更早:机器人没有一个仿真就绪的世界可供训练。把 3D 场景处理到这种状态所需的额外工作既繁琐又耗时,而且常常不在机器人仿真工程师的职责范围之内。
本文介绍一个智能体工作流,使用 NVIDIA Omniverse Libraries 为机器人仿真准备 Blender 场景。由 OpenAI GPT-6 Astra 驱动的 Codex 负责协调整体任务、解读结果并指导迭代。基于 Hermes 智能体 harness 构建、通过 NVIDIA NemoClaw 部署的专用子智能体,则借助 Omniverse Libraries 检查场景、编写仿真元数据、配置物理属性并渲染视觉预检视图。
这些组件共同把推理、工具执行和验证串联成一个可重复的流程,用于交付仿真就绪的 OpenUSD 世界。
为什么为仿真准备 3D 场景很有挑战性?
场景已经存在,素材也都在,是 3D 美术师在 Blender 中创建的,但它能用于仿真吗?下面这些准备工作是否都已完成?
- 物体是否已标注?
- 碰撞网格是否正确?
- 材质对仿真是否有意义?
- 传感器是否已放置并配置?
- 场景能否干净地导出为 USD?
- 机器人能否感知到目标物体?
- 在你花时间到 Isaac Sim 或 Isaac Lab 里调试之前,场景能否通过验证?
这些准备工作枯燥、重复,而且很容易出错。只要有合适的工具,这恰恰是智能体系统应当帮上忙的那类工作。在智能体工作流中使用 NVIDIA Omniverse Libraries,目的就是把智能体构建 SimReady 世界所需的工具整合起来。
智能体如何帮助为仿真准备 3D 场景?
像 ChatGPT 的 Codex 或 Anthropic 的 Claude Cowork 这样的通用智能体,可以查看 Blender 场景并意识到它需要做到仿真就绪。识别很有用,但还不够。要帮到机器人开发者,智能体必须能够对场景采取行动:
- 检查 Blender 场景
- 找出缺失的仿真元数据
- 添加语义标签
- 配置传感器
- 编写碰撞形状和物理属性
- 渲染视觉预检视图
- 运行 SimReady 验证
- 自动修复安全的问题
- 把有歧义的决策上报给人类
一个“让 3D 场景为仿真做好准备”的宽泛请求,就变成了一个多智能体工程工作流。Codex 或 Claude 担任主智能体,协调为仿真准备场景的整体任务。NVIDIA NemoClaw 提供了一套参考架构,用于构建执行各项工作的专用子智能体。这些子智能体可以使用 Hermes、OpenClaw 或 LangChain 等开源智能体 harness,并针对视觉、推理和工具使用配置不同的 NVIDIA Nemotron 模型。
在使用 Astra 和 Hermes 的配置中,Codex 借助 Astra 把开发者的目标转化为任务,识别依赖关系,并审阅通过 NemoClaw 部署的各个 Hermes 专用子智能体返回的结果。例如,要让一个物体可抓取,就需要协调更新它的语义标签、刚体配置和碰撞几何体。Astra 帮助在各子智能体之间衔接这些要求,并确定工作流继续推进之前需要哪些检查。
NVIDIA Omniverse Libraries 提供了子智能体用来对场景采取行动的工具。OpenUSD 操作建立共享的场景结构,ovphysx 编写并检查物理属性,ovrtx 渲染视觉预检视图,SimReady 验证则依据目标仿真配置文件评估最终生成的资产。
每个子智能体各负责一项具体工作及其验收标准。安全、机械性的问题可以自动修复。取决于开发者意图的决策,例如不确定的语义标签或物理行为,则会连同相关上下文和建议的下一步操作一起上报给人类。
这一模式是:
- Codex 或 Claude 负责协调
- NemoClaw 智能体负责推理
- Omniverse Libraries 负责执行
这些层次共同把“让这个场景达到仿真就绪”这条提示,变成了一个由工具驱动的工作流:有专门分工的任务、持久的场景状态、验证关卡,以及在需要判断的地方进行人工审核。

如何使用智能体为仿真准备 3D 场景
首先为编排智能体指定主要目标,包括输入、期望输出、目标位置和验证标准。这为 Codex 或 Claude 提供了足够的结构,使其能够协调整体任务,在各个 NemoClaw 专用子智能体之间分派工作,并判断任务何时真正完成。
Input: Blender scene
Goal: Prepare it for robotics simulation
Output: USD-based simulation-ready world
Destination: Isaac Sim or Isaac Lab
Validation: Visual preflight + SimReady validation
通过指定主要目标,任务就从单纯的“把这个场景弄得更好”,变成了一个协同的智能体工作流。Codex 或 Claude 管理整体请求,NemoClaw 子智能体针对各自专门的工作进行推理,Omniverse Libraries 则提供修改、渲染、验证和准备世界所需的工具。
设定目标之后,请按以下步骤操作。
步骤 1:通过 Blender MCP 检查场景
第一个子智能体通过 Model Context Protocol(MCP)服务器连接到 Blender,并用它盘点场景。MCP 为智能体提供了一个受控的工具接口,使其可以进入 Blender:智能体无需靠截图猜测,也不必依赖手动导出,而是可以调用工具来检查物体、集合、变换、材质、相机、灯光和场景元数据。这份场景清单会成为其余子智能体共用的上下文。
该子智能体应当回答:
- 存在哪些物体?
- 存在哪些集合和层级结构?
- 分配了哪些材质?
- 有哪些相机和灯光?
- 哪些看起来是机器人的目标物、障碍物、地面、货架或箱子?
- 缺少哪些仿真数据?
输出应按如下结构组织:
{
"objects": 142,
"materials": 37,
"missing": [
"semantic_labels",
"collision_meshes",
"camera_sensors",
"physics_materials"
]
}
这为其他子智能体提供了一个共同的起点。
Hermes 检查子智能体把结构化的发现结果返回给 Codex。Astra 利用这份清单和开发者的机器人目标,找出缺失的信息并规划后续任务。例如,确定机器人的目标物体,有助于判断哪些资产需要可移动刚体属性,以及哪些传感器视角需要审查。随后,Codex 把这些任务委派给通过 NemoClaw 部署的相应 Hermes 子智能体,并附上明确的验收标准,同时标出尚未解决的假设,等待开发者输入。
本文的工作流使用 Alex Trevino 创作的 The Junk Shop(原始概念由 Anais Maamar 提出)作为演示(图 2)。Codex 协调 NemoClaw,决定针对所请求的任务需要调用哪个子智能体。在这个例子中,NemoClaw 通过 Blender MCP 运行 The Junk Shop 场景,并盘点其中的物体、材质、场景结构等内容。
图 2. Blender 插件通过 gRPC 将场景数据桥接到 Omniverse Libraries,使渲染和物理能力可以直接反馈到 Blender 视口中
步骤 2:以 USD 作为契约
Blender 是创作环境,USD 则是仿真交接的载体,因为它为智能体和下游工具提供了共享的、结构化的世界表示。场景一旦写入 USD,子智能体就可以检查 prim、添加元数据、验证要求,并把同一个世界传递给 Isaac Sim 或 Isaac Lab,而无需依赖脆弱的一次性导出。
USD 创作智能体使用 Omniverse Libraries 来保留层级结构、变换、材质、标签、物理元数据和传感器定义。
对智能体构建者来说,一条有用的经验法则是:如果之后有其他智能体或仿真器需要依赖某项信息,就把它写入 USD。
USD 专为分层、非破坏性的场景组合而设计,因此智能体可以添加标签、物理元数据、传感器定义、材质和验证数据,而不会压平原始的创作成果。这样一来,工作流就不会沦为一堆困在某个工具里的临时编辑,并为每个下游步骤提供了一个共享的、可检查的事实来源。

步骤 3:添加语义标签
机器人需要的不只是几何体,还需要含义。语义标注智能体把匿名的网格变成理解任务的物体:货架、箱子、地面、障碍物、可抓取物品和机器人目标。通过把这些标签写入 USD,工作流为下游智能体和机器人工具提供了一套共享词汇,可用于感知、验证、合成数据和训练设置。
语义标注智能体为 prim 打上与任务相关的类别标签:
shelfbinboxfloorobstaclegrabbable_objectrobot_targetno_go_zone
智能体可以根据物体名称、层级结构、形状和上下文推断标签,但它也应当标出不确定之处:
Tagged 118 prims.
9 labels need review.
图 4 展示了 Codex 编排 NVIDIA NemoClaw。NemoClaw 通过 Blender MCP 与各子智能体协同。NVIDIA Omniverse Libraries 则是子智能体完成任务时使用的工具。在这个例子中,ovrtx 智能体通过该工作流检查 Blender 场景,并应用场景达到机器人仿真就绪所需的语义分割和标签。

这一点很重要,因为标签成为连接场景内容与机器人工作流的桥梁,涉及感知、任务设置、合成数据和验证。
步骤 4:让材质具备仿真感知能力
在 Blender 中看起来不错的材质,对仿真来说可能仍不完整。在视口里,货架看起来有金属质感、箱子看起来像塑料或许就够了。但在机器人工作流中,这些表面需要有材质属性,供下游系统用于渲染、传感、物理、域随机化和验证。材质智能体把视觉外观转化为对仿真有用的元数据。
材质智能体应当检查视觉材质,并编写与仿真相关的材质元数据。在仓库场景中,这可能意味着识别金属货架、纸箱、塑料箱、混凝土地面、橡胶轮子或玻璃板。
目标不是让材质更好看,而是为仿真和验证提供更有用的信息。

步骤 5:尽早编写传感器
如果机器人需要感知世界,传感器就不应是训练环境中事后才想到的东西。相机和激光雷达的配置决定了机器人能观察到什么、会生成什么数据,以及训练场景能否反映真实任务。尽早编写传感器,可以让智能体在场景进入 Isaac Sim 或 Isaac Lab 之前,先验证其位置、视场角、量程、轮询频率、遮挡和目标可见性。
传感器子智能体可以在场景中编写相机和激光雷达传感器,并设定:
- 位置
- 朝向
- 视场角
- 轮询频率
- 量程
- 分辨率
- 目标坐标系
这种做法使工作流能够在训练开始之前就提出有用的问题:
- 机器人能看到目标吗?
- 传感器是否被遮挡?
- 视场角是否有用?
- 训练用的物体能否从预期视角看到?
图 6 展示了 NemoClaw 编排一个子智能体,调用完成这项工作所需的工具:ovrtx。ovrtx 加载包含已配置激光雷达的场景,预热传感器管线,渲染一帧点云,利用 count 通道读取有效点数据,输出汇总统计信息,并用基于强度的颜色将这些点可视化。

步骤 6:使用 ovphysx 实现物理就绪
到这一步,场景就不再只是视觉上的了,而是成为了一个具备物理感知能力的数字孪生世界。其中的物体不再只是带材质的网格,它们拥有碰撞形状、质量、摩擦力、刚体行为,以及相互作用的规则。这意味着箱子可以被拿起,货架可以挡住运动,机器人可以针对一个行为符合物理规律、而不只是看上去正确的世界测试动作。
ovphysx 子智能体会添加或验证以下内容:
- 碰撞网格
- 静态碰撞体
- 刚体
- 质量属性
- 摩擦力
- 恢复系数
- 物理材质
- 可移动与固定物体
常见的失败情形,恰恰是那些日后难以处理的繁琐问题:
46 objects missing collision meshes.
12 grabbable objects marked static.
7 collision meshes too complex.
3 props floating above the floor.
ovphysx 智能体负责这项工作。它把这些发现转化为修复计划,自动应用安全的修复,并把有歧义的情况转交给人类。
例如,智能体可以为静态道具生成简单的碰撞网格,将地面和货架标记为固定碰撞体,为可抓取物体分配刚体属性,并标出任何物理行为取决于任务意图的地方。产出的不只是一个更整洁的场景,还有一份物理就绪报告,下游智能体和验证工具都可以使用。
图 7 展示了 NemoClaw 编排一个子智能体,调用让 3D 场景具备物理能力所需的相应工具:ovphysx。ovphysx 用于添加刚体属性、碰撞体、质量和摩擦力属性,以确保场景传输到 Isaac Sim 或 Isaac Lab 时已达到仿真就绪。

步骤 7:把 ovrtx 用作预检循环
为什么要在仿真之前先渲染?因为验证只能告诉智能体场景在结构上是否合格,而渲染才能显示场景是否真的可用。ovrtx 智能体可以生成机器人相机视图和审查视图,检查是否存在被遮挡的目标、不当的光照、被裁切的传感器、损坏的材质或无法辨认的物体,并在训练时间被浪费之前,把问题路由回合适的修复智能体。
ovrtx 智能体渲染审查视角和机器人视角,使工作流能够检查以下关键点:
- 目标物体是否可见?
- 可见物体上是否附有标签?
- 材质渲染是否正确?
- 光照在物理上是否合理?
- 相机是否被遮挡或裁切?
- 物体尺度看起来是否合理?
到这一步,ovrtx 为智能体流水线提供了视觉质量检查。
在 NemoClaw 环境中运行的 Hermes 渲染子智能体调用 ovrtx 生成审查图像,并将图像连同相关场景元数据一起返回给 Codex。Astra 可以利用这些证据排查差异,并协调有针对性的后续任务。如果某个已标注的目标没有出现在机器人相机视图中,Codex 可以要求传感器子智能体和场景检查子智能体检查相机朝向、裁切设置以及可能的遮挡物。修正之后,渲染子智能体会再生成一张视图,以便核查结果。这就把视觉审查与可执行的修复循环连接了起来。

步骤 8:运行 SimReady 验证
最后,验证智能体依据目标配置文件运行 SimReady 验证。这是智能体工作流的验收关卡。SimReady Foundation 为仿真就绪的 USD 内容定义了标准和验证配置文件,验证智能体使用这些配置文件来检查场景是否真的可以继续推进。如果验证失败,报告就成为修复智能体的任务清单;如果通过,场景就可以交接给 Isaac Sim 或 Isaac Lab。
报告应当具有可操作性:
Validation failed: 14 issues
- 10 auto-fixable
- 4 require review
修复智能体可以修复安全的问题,有歧义的失败则报告给人类。例如:“我已自动修复了 10 个验证问题。还有 4 个需要审核:两个不确定的语义标签、一个物理设置相互冲突的可抓取物体,以及一个既可能是障碍物也可能是目标的物体。”人类确认预期行为后,智能体再应用修复并重新运行验证。
Hermes 验证子智能体把 SimReady 报告返回给 Codex,由 Astra 协助判断需要哪些修复和后续检查。Codex 把这些任务委派给通过 NemoClaw 部署的相应 Hermes 子智能体。移动传感器可能需要再做一次 ovrtx 可见性检查,而改变某个物体的角色,则可能需要同时更新语义标签和物理属性。子智能体应用获批的更改并重新运行相关检查,最后由 Codex 向开发者汇总所做的更改、验证证据以及尚未解决的决策。
目标是得到一个满足仿真契约的场景,而不只是导出一个文件。
图 9 展示了 NemoClaw 编排所需的子智能体,调用 SimReady Blender 插件,用于依据目标 SimReady 配置文件验证场景。如果验证报告出现任何失败,智能体会在继续之前标记出来,等待人工审核。

开始为仿真准备 3D 场景
机器人训练并不是从策略运行时开始的,而是从世界准备就绪时开始的,这需要的不只是一个看起来不错的场景。它需要一个 USD 世界,带有语义标签、具备仿真感知能力的材质、传感器、物理属性、视觉预检,以及针对目标配置文件的验证。这些繁琐的衔接工作太多,不能完全交给人类,又太具体,无法单靠提示词解决。
有用的模式是一组配有真实工具的子智能体:
Blender MCP inspects the scene.
Omniverse Libraries author the world.
USD carries the contract.
Semantic labels add meaning.
Sensors define perception.
ovphysx makes it physical.
ovrtx makes it visually testable.
SimReady validation makes it acceptable.
Isaac Sim / Isaac Lab makes it trainable.
前进的道路是借助真实工具的智能体工程:由 Codex 或 Claude 负责编排,NemoClaw 负责协调子智能体,NVIDIA Omniverse Libraries 则让这些智能体能够对场景采取行动。
推荐的系统包括:
- NVIDIA DGX Spark:非常适合本地原型开发,配备 128 GB 一致性统一系统内存。可用它开发 NemoClaw 子智能体、通过 MCP 连接 Blender、编写 USD、运行 SimReady 验证,并在桌面系统上测试 ovrtx 或 ovphysx 循环。
- NVIDIA DGX Station:终极桌边 AI 超级计算机,由 NVIDIA GB300 Grace Blackwell Ultra Desktop Superchip 驱动,一致性内存最高可达 748 GB,适用于本地 AI 开发、推理和智能体工作流,还可额外配置一块 NVIDIA RTX PRO 6000 Blackwell Generation Workstation GPU。当场景变大、本地模型需要更多内存、并行运行的子智能体更多,或者仿真和可视化负载要求更高时,可以选用它。
- NVIDIA RTX PRO Servers:最适合团队规模的流水线。可用于共享的智能体工作流、批量场景准备、大型 OpenUSD 资产、合成数据生成以及生产级的验证运行。
- NVIDIA DGX Cloud:最适合云规模的开发。当工作流需要弹性算力来应对大型训练作业、批量仿真,或超出本地硬件能力的规模化物理 AI 流水线时,可以使用它。
准备好开始了吗?选一个场景准备中的瓶颈,交给一个子智能体,把它接到某个 Omniverse 工具上,再加一道验证关卡。
想了解更多,请查看以下资源:
- 在 Omniverse Labs GitHub 仓库中浏览更多 Omniverse 示例
- 探索 NVIDIA Omniverse Libraries,获取涵盖 USD、渲染、物理、存储和验证、可由智能体调用的工具
- 试用 SimReady Foundation,了解验证配置文件和仿真就绪 USD 的要求
- 面向机器人学习,向 Isaac Lab 或 Isaac Sim 迈进
- 了解 NemoClaw 如何帮助构建专用智能体。
- 成为 OpenUSD 开发者,学习智能体式 3D 工作流的基础。
欢迎于 9 月 30 日太平洋时间上午 11:00 参加 OpenUSD Insider 直播:使用 GPT-6 Astra 和 NVIDIA Omniverse Libraries 现场开发物理 AI 仿真。
