Agentic AI 工作流可用于为 physical AI 系统准备和验证 digital twins。智能体可以检查 3D 场景，在 OpenUSD 中编写与仿真相关的数据，添加物理属性，渲染预检视图，并根据 simulation-ready (SimReady) 要求验证结果。该工作流遵循这一过程，从 Blender 中的场景一直到为 NVIDIA Isaac Sim 或 NVIDIA Isaac Lab 交付仿真就绪的 OpenUSD。
然而在实践中，如果你正在为机器人技术构建智能体，这一工作流往往会卡住。人们很容易把困难归咎于策略、模型或训练循环，但瓶颈往往出现在更早的阶段：机器人没有可供训练的仿真就绪世界。将 3D 场景推进到该状态所需的额外工作既费力又耗时，而且常常超出机器人仿真工程师的职责范围。
本文介绍了一种使用 NVIDIA Omniverse Libraries 为机器人仿真准备 Blender 场景的智能体工作流。由 OpenAI GPT-6 Astra 驱动的 Codex 负责协调整体任务、解读结果并引导迭代。使用 Hermes 智能体框架构建、并通过 NVIDIA NemoClaw 部署的专用子智能体使用 Omniverse Libraries 来检查场景、编写仿真元数据、配置物理并渲染可视化预检视图。
这些组件共同将推理、工具执行和验证连接成一个可重复的流程，以交付仿真就绪的 OpenUSD 世界。
为什么为仿真准备 3D 场景具有挑战性？
场景已经存在——资产就在那里，由 3D 艺术家在 Blender 中创建——但它能用于仿真吗？以下所有准备工作都完成了吗？
- 对象是否已标注？
- 碰撞网格是否正确？
- 材质对仿真是否有意义？
- 传感器是否已放置并配置？
- 场景能否干净地导出为 USD？
- 机器人能否感知目标对象？
- 在你花费时间于 Isaac Sim 或 Isaac Lab 中调试之前，场景能否通过验证？
这些准备工作繁琐、重复，而且很容易出错。如果智能体系统拥有合适的工具，这也正是它们应当帮助处理的那类工作。在智能体工作流中使用 NVIDIA Omniverse Libraries 的意义，在于集成智能体构建 SimReady 世界所需的工具。
智能体如何帮助为仿真准备 3D 场景？
像 ChatGPT 的 Codex 或 Anthropic 的 Claude Cowork 这样的通用智能体可以查看 Blender 场景，并识别出它需要被处理为仿真就绪。识别是有用的，但还不够。为了帮助机器人开发者，智能体必须能够对场景采取行动：
- 检查 Blender 场景
- 识别缺失的仿真元数据
- 添加语义标签
- 配置传感器
- 编写碰撞形状和物理属性
- 渲染视觉预检视图
- 运行 SimReady 验证
- 自动修复安全的问题
- 将模糊的决策上报给人工处理
一个让 3D 场景准备好进行仿真的宽泛请求，变成了一个多智能体工程工作流。Codex 或 Claude 作为主智能体，协调准备场景进行仿真的整体任务。NVIDIA NemoClaw 提供了一个参考架构，用于构建执行每项工作的专用子智能体。这些子智能体可以使用开源智能体框架，如 Hermes、OpenClaw 或 LangChain，并配置不同的 NVIDIA Nemotron 模型，用于视觉、推理和工具使用。
在使用 Astra 和 Hermes 的配置中，Codex 使用 Astra 将开发者的目标转化为任务，识别依赖关系，并审查通过 NemoClaw 部署的专用 Hermes 子智能体的结果。例如，使一个物体可抓取需要协调更新其语义标签、刚体配置和碰撞几何体。Astra 帮助跨子智能体连接这些需求，并确定在工作流继续之前需要进行哪些检查。
NVIDIA Omniverse Libraries 提供了子智能体调用来对场景进行操作的工具。OpenUSD 操作建立共享场景结构，ovphysx 编写和检查物理属性，ovrtx 渲染视觉预检视图，SimReady 验证根据目标仿真配置文件评估生成的资产。
每个子智能体负责一项特定的工作及其验收标准。安全的、机械性的问题可以自动修复。依赖于开发者意图的决策，例如不确定的语义标签或物理行为，会连同相关上下文和建议的下一步操作上报给人工处理。
模式是：
- Codex 或 Claude 协调
- NemoClaw 智能体推理
- Omniverse Libraries 执行
这些层共同将提示“使此场景仿真就绪”转变为一个工具驱动的工作流，具有专门的工作、持久的场景状态、验证关卡以及在需要判断时进行人工审查。
图 1. 参考工作流，演示如何使用 Omniverse Libraries 通过智能体激活 Blender 场景
如何使用智能体为仿真准备 3D 场景
首先指定编排智能体的主要目标，包括输入、期望输出、目的地和验证标准。这为 Codex 或 Claude 提供了足够的结构来协调整体任务，在专门的 NemoClaw 子智能体之间路由工作，并决定任务何时真正完成。
输入：Blender 场景
目标：为机器人仿真做好准备
输出：基于 USD 的仿真就绪世界
目的地：Isaac Sim 或 Isaac Lab
验证：视觉预检 + SimReady 验证
通过指定主要目标，任务从简单的“让这个场景变得更好”转变为协调的智能体工作流。Codex 或 Claude 管理整体请求，NemoClaw 子智能体推理专门任务，Omniverse Libraries 提供修改、渲染、验证和准备世界的工具。
设定目标后，请按照以下步骤操作。
步骤 1：通过 Blender MCP 检查场景
第一个子智能体通过 模型上下文协议 (MCP) 服务器 连接到 Blender，并使用它来清点场景。MCP 为智能体提供了一个受控的工具接口来访问 Blender：智能体无需从截图猜测或依赖手动导出，而是可以调用工具来检查对象、集合、变换、材质、相机、灯光和场景元数据。该场景清单成为其余子智能体使用的共享上下文。
该子智能体应回答：
- 存在哪些对象？
- 存在哪些集合和层级结构？
- 分配了哪些材质？
- 存在哪些相机和灯光？
- 哪些看起来像机器人目标、障碍物、地板、货架或箱子？
- 缺少哪些模拟数据？
输出应结构化如下：
{
"objects": 142,
"materials": 37,
"missing": [
"semantic_labels",
"collision_meshes",
"camera_sensors",
"physics_materials"
]
}
这为其他子代理提供了一个共同的起点。
Hermes 检查子代理将其结构化发现返回给 Codex。Astra 利用这份清单以及开发者的机器人目标来识别缺失的信息并规划后续任务。例如，识别机器人的目标物体有助于确定哪些资产需要可移动实体属性，以及哪些传感器视角需要审查。随后，Codex 将这些任务委派给通过 NemoClaw 部署的相关 Hermes 子代理，并附上明确的验收标准，以及标记出来供开发者输入的未解决假设。
本文中的工作流使用 Alex Trevino 的 The Junk Shop（原始概念由 Anais Maamar 提出）作为演示（图 2）。Codex 协调 NemoClaw 来编排所请求任务需要哪个子代理。在此实例中，NemoClaw 正通过 Blender MCP 运行 The Junk Shop 场景，并清点物体、材质、场景结构等。
图 2. Blender 插件通过 gRPC 将场景数据桥接到 Omniverse Libraries，使渲染和物理能力能够直接反馈到 Blender 视口
步骤 2：转向以 USD 作为契约
Blender 是创作环境。USD 是仿真交接格式，因为它为代理和下游工具提供了共享的、结构化的世界表示。一旦场景被创作到 USD 中，子代理就可以检查 prim、添加元数据、验证需求，并将同一个世界传递到 Isaac Sim 或 Isaac Lab，而无需依赖脆弱的临时导出。
USD 创作代理使用 Omniverse Libraries 来保留层级、变换、材质、标签、物理元数据和传感器定义。
对代理构建者来说，一条有用的规则是：如果另一个代理或模拟器以后需要依赖它，就把它创作到 USD 中。
USD 专为分层、非破坏性的场景合成而构建，因此代理可以添加标签、物理元数据、传感器定义、材质和验证数据，而不会扁平化原始创意作品。这避免了工作流变成困在单一工具中的临时编辑集合，并为每个下游步骤提供了共享的、可检查的事实来源。
图 3. USD 从离散的子层（资产、光照和材质）合成最终场景，每个子层在组合之前都可以单独编辑
步骤 3：添加语义标签
机器人不仅需要几何信息，还需要语义。语义标注智能体将匿名网格转化为具有任务感知的对象：货架、料箱、地板、障碍物、可抓取物品和机器人目标。通过将这些标签写入 USD，该工作流为下游智能体和机器人工具提供了用于感知、验证、合成数据和训练设置的共享词汇。
语义标注智能体为图元（prim）打上任务相关的类别标签：
shelf
bin
box
floor
obstacle
grabbable_object
robot_target
no_go_zone
该智能体可以根据对象名称、层级结构、形状和上下文推断标签。但它也应标记出不确定的情况：
已标记 118 个图元。
9 个标签需要审核。
图 4 展示了 Codex 编排 NVIDIA NemoClaw。NemoClaw 通过 Blender MCP 与子代理协调。NVIDIA Omniverse Libraries 是子代理用来执行任务的工具。在此实例中，ovrtx 代理通过此工作流检查 Blender 场景，并应用场景成为机器人仿真就绪所需的语义分割和标签。
图 4. Codex 编排 NVIDIA NemoClaw 通过 Blender 完成任务
这一点很重要，因为标签成为场景内容与机器人工作流之间的桥梁：感知、任务设置、合成数据和验证。
步骤 4：让材质具备仿真感知能力
在 Blender 中看起来没问题的材质，对于仿真而言可能仍然不完整。在视口中，货架看起来像金属或箱子看起来像塑料可能就足够了。在机器人工作流中，这些表面需要下游系统可用于渲染、传感、物理、域随机化和验证的材质属性。材质代理将视觉外观转化为仿真可用的元数据。
材质代理应检查视觉材质并编写与仿真相关的材质元数据。在仓库场景中，这可能意味着识别金属货架、纸板箱、塑料箱、混凝土地面、橡胶轮或玻璃面板。
目标不是更漂亮的材质。目标是为仿真和验证提供更有用的信息。
图 5. 在 Codex 中，NemoClaw 通过 Blender 完成任务。材质子代理使用 MCP 与 Blender 通信，识别 3D 场景中的材质，检查其属性，并适当地标记元数据，使材质可被机器读取
步骤 5：尽早编写传感器
如果机器人需要感知世界，传感器就不应在训练环境中被事后考虑。摄像头和激光雷达的配置决定了机器人能观察到什么、会生成哪些数据，以及训练场景是否反映了真实任务。尽早编写传感器让智能体能够在场景进入 Isaac Sim 或 Isaac Lab 之前，验证位置、视场、范围、轮询率、遮挡和目标可见性。
传感器子智能体可以将摄像头和激光雷达传感器编写到场景中，包括：
- 位置
- 朝向
- 视场
- 轮询率
- 范围
- 分辨率
- 目标帧
这种方法让工作流在训练开始前就能提出有用的问题：
- 机器人能看到目标吗？
- 传感器被遮挡了吗？
- 视场有用吗？
- 从预期视角能看到训练对象吗？
图 6 展示了 NemoClaw 编排一个子智能体来调用完成任务所需的工具：ovrtx。ovrtx 加载一个包含已配置激光雷达的场景，预热传感器管线，渲染一帧点云，使用计数通道读取有效点数据，打印汇总统计信息，并用基于强度的颜色可视化这些点。
图 6. NemoClaw 编排一个子智能体来调用完成任务所需的工具：ovrtx
步骤 6：使用 ovphysx 实现物理就绪
此时，场景不再仅仅是视觉上的。它变成了一个具有物理感知的数字孪生世界。对象不再只是带有材质的网格；它们具有碰撞形状、质量、摩擦、刚体行为以及相互作用规则。这意味着一个箱子可以被拾起，一个货架可以阻挡运动，机器人可以针对一个行为符合物理规律而不仅仅是看起来正确的世界来测试动作。
ovphysx 子智能体添加或验证以下内容：
- 碰撞网格
- 静态碰撞体
- 刚体
- 质量属性
- 摩擦
- 恢复系数
- 物理材质
- 可移动对象与固定对象
常见的失败恰恰是那些日后难以处理的繁琐问题：
46 个对象缺少碰撞网格。
12 个可抓取对象被标记为静态。
7 个碰撞网格过于复杂。
3 个道具悬浮在地板上方。
ovphysx agent 负责这项工作。它将那些发现转化为修复计划，自动应用安全修复，并将模糊情况转交给人工处理。
例如，该 agent 可以为静态道具生成简单的碰撞网格，将地板和货架标记为固定碰撞体，为可抓取物体分配刚体属性，并标记任何物理行为取决于任务意图的物体。输出不仅仅是更干净的场景；它是一份物理就绪报告，下游 agent 和验证工具可以使用。
图 7 展示了 NemoClaw 编排一个子 agent 调用使 3D 场景物理启用所需的适当工具：ovphysx。ovphysx 用于添加刚体属性、碰撞体、质量和摩擦属性，以确保场景在传输到 Isaac Sim 或 Isaac Lab 时已准备好进行模拟。
图 7. NemoClaw 编排一个子 agent 调用使 3D 场景物理启用所需的适当工具：ovphysx
步骤 7：使用 ovrtx 作为预检循环
为什么在模拟之前渲染？因为验证可以告诉 agent 场景在结构上可接受，但渲染显示场景是否可用。ovrtx agent 可以生成机器人相机和审查视图，检查隐藏目标、不良光照、裁剪传感器、损坏材质或不可读物体，并在训练时间被浪费之前将问题路由回正确的修复 agent。
ovrtx agent 渲染审查和机器人视角，以便工作流可以检查关键点：
- 目标物体是否可见？
- 标签是否附加到可见的物体上？
- 材质是否正确渲染？
- 光照是否物理上合理？
- 相机是否被遮挡或裁剪？
- 物体比例看起来是否合理？
此时，ovrtx 正在为 agent 管道提供视觉 QA。
在 NemoClaw 环境中运行的 Hermes 渲染子 agent 调用 ovrtx 生成审查图像，并将它们连同相关场景元数据返回给 Codex。Astra 可以使用这些证据来调查差异并协调有针对性的后续任务。如果机器人相机视图中缺少带标签的目标，Codex 可以要求传感器和场景检查子 agent 检查相机方向、裁剪设置和可能的遮挡物。修正后，渲染子 agent 生成另一个视图，以便检查结果。这将视觉审查连接到一个可操作的修复循环。
图 8. NemoClaw 编排子代理调用 ovrtx 并运行 QA 报告，检查目标对象是否可见、标签是否已附加、材质是否正确渲染、光照是否物理上合理，以及相机是否清晰且未被裁剪
步骤 8：运行 SimReady 验证
最后，验证代理针对目标配置文件运行 SimReady 验证。这是代理工作流的验收关口。SimReady Foundation 为仿真就绪的 USD 内容定义了标准和验证配置文件，验证代理使用这些配置文件来检查场景是否真正准备好继续推进。如果验证失败，报告将成为修复代理的任务列表。如果通过，场景即可交付给 Isaac Sim 或 Isaac Lab。
报告应具有可操作性：
验证失败：14 个问题
- 10 个可自动修复
- 4 个需要人工审核
修复代理可以修复安全的问题。模糊的失败会报告给人类。例如，“我自动修复了 10 个验证问题。有四个需要审查：两个不确定的语义标签，一个具有冲突物理设置的可抓取物体，以及一个可能是障碍物或目标的物体。”人类批准预期行为后，代理会应用修复并重新运行验证。
Hermes 验证子代理将 SimReady 报告返回给 Codex，Astra 在此帮助确定需要哪些修复和后续检查。Codex 将这些任务委托给通过 NemoClaw 部署的相应 Hermes 子代理。移动传感器可能需要另一次 ovrtx 可见性检查，而更改对象角色可能需要更新语义标签和物理属性。子代理应用已批准的更改并重新运行相关检查，Codex 为开发者总结更改、验证证据和未解决的决策。
目标是让场景满足仿真契约，而不仅仅是导出文件。
图 9 展示了 NemoClaw 编排调用 SimReady Blender 插件所需的子代理，该插件用于在目标 SimReady 配置文件上验证场景。如果验证报告任何失败，代理会在继续之前标记以供人工审查。
图 9. NemoClaw 编排调用 SimReady Blender 插件所需的子代理
开始为仿真准备 3D 场景
机器人训练不是在策略运行时才开始。它是在世界准备好时开始，而这需要的不仅仅是一个看起来不错的场景。它需要一个具有语义标签、仿真感知材质、传感器、物理属性、视觉预检以及针对目标配置文件验证的 USD 世界。这些繁琐的胶水工作太多，不能完全交给人类，而且太具体，无法仅靠提示解决。
有用的模式是一组具有真实工具的子代理：
Blender MCP 检查场景。
Omniverse Libraries 创作世界。
USD 承载契约。
语义标签赋予含义。
传感器定义感知。
ovphysx 使其具备物理特性。
ovrtx 使其可进行视觉测试。
SimReady 验证使其可被接受。
Isaac Sim / Isaac Lab 使其可训练。
前进的道路是使用真实工具的智能体工程：用 Codex 或 Claude 进行编排，用 NemoClaw 协调子智能体，用 NVIDIA Omniverse Libraries 让这些智能体在场景中执行操作。
推荐系统包括：
：非常适合本地原型开发，配备 128GB 一致性统一系统内存。用它来开发 NemoClaw 子智能体、通过 MCP 连接 Blender、编写 USD、运行 SimReady 验证，并在桌面系统上测试 ovrtx 或 ovphysx 循环。NVIDIA DGX Spark：终极桌面级 AI 超级计算机，由 NVIDIA GB300 Grace Blackwell Ultra Desktop Superchip 驱动，配备高达 748 GB 的一致性内存，用于本地 AI 开发、推理和智能体工作流，可额外配置一块 NVIDIA RTX PRO 6000 Blackwell Generation Workstation GPU。当场景变得更大、本地模型需要更多内存、更多子智能体并行运行，或仿真与可视化工作负载变得更加苛刻时使用它。NVIDIA DGX Station：最适合团队规模的流水线。将它们用于共享智能体工作流、批量场景准备、大型 OpenUSD 资产、合成数据生成和生产级验证运行。NVIDIA RTX PRO Servers：最适合云规模开发。当工作流需要弹性计算来运行大型训练任务、批量仿真，或超出本地硬件能力的规模化物理 AI 流水线时使用它。NVIDIA DGX Cloud
准备好开始了吗？选择一个场景准备瓶颈，把它交给一个子智能体，将其连接到一个 Omniverse 工具，并添加一个验证关卡。
要了解更多信息，请查看以下资源：
- 在 Omniverse LabsGitHub 仓库中浏览更多 Omniverse 示例 - 探索
NVIDIA Omniverse Libraries，获取跨 USD、渲染、物理、存储和验证的智能体可调用工具 - 尝试
SimReady Foundation，了解验证配置文件和仿真就绪 USD 要求 - 朝着
Isaac Lab或Isaac Sim构建，用于机器人学习 - 了解如何
NemoClaw帮助构建专用智能体。 - 成为一名
OpenUSD 开发者，学习智能体 3D 工作流的基础。
请于太平洋时间 9 月 30 日上午 11:00 加入我们，参加 OpenUSD Insider Livestream：使用 GPT-6 Astra 和 NVIDIA Omniverse Libraries 现场开发物理 AI 仿真。