我们如何教机器人组装 GB300 测试托盘，以及这让我们对机器人学习、机械智能和传统工程有了哪些认识
NVIDIA Grace Blackwell GB300 超级芯片是现代基础模型 AI 训练和推理的引擎。然而，组装 GB300 托盘的过程需要全球各地工厂中熟练的体力劳动。NVIDIA 西雅图机器人实验室（SRL）与 NVIDIA Isaac 工程团队合作，提出了一个核心问题：我们能否构建智能机器人来组装如此复杂的系统？
答案是肯定的，但这条道路充满挑战。让机器人能够组装 GB300 托盘是 SRL 作为高产研究实验室九年来所解决的最困难的问题之一。这个问题也挑战了我们关于端到端学习在何处最强大、以及模块化技术栈在何处可能更有效的假设。
当前的问题：莫拉维克悖论重现
我们专注于组装 GB300 测试托盘，这些托盘用于在发货和部署之前验证 GB300 计算模块的功能和性能。根据 NVIDIA 运营团队和 GB300 合同制造商富士康的建议，我们聚焦于两项关键任务：（1）母线组装和（2）多连接器插入。
在母线组装中，必须抓取一根长而重的母线（即传输大电流的金属条），将其运送到托盘，插入，并在 16 个位置拧紧螺丝。还必须插入和移除夹具和夹钳。在多连接器插入中，必须从托盘中提起两个大电缆安装电气连接器和两个小电缆安装电气连接器，并将它们插入间隙狭窄的插座中。
真实世界的实验装置如下所示。
熟练的工厂工人能够可靠、流畅地完成这两项任务，且没有明显的心理负担。然而，在莫拉维克悖论的又一个例子中，此类任务所需的灵巧性可能极难实现自动化。
▶ https://developer.download.nvidia.com/devblogs/Busbar-Assemble.mp4
视频 1. 富士康工厂的熟练工人正在执行母线组装
▶ https://developer.download.nvidia.com/devblogs/Insert-Cables.mp4
视频 2. 工人正在执行多连接器插入
第一个关键挑战是不确定性。零件的几何形状、外观和动力学并非精确已知，初始零件位姿可能变化很大。此外，电气连接器连接在电缆上，电缆沿其整个长度会发生形变，存在显著的制造差异，甚至会因塑性变形和疲劳而发生机械变化。
在许多制造操作中，不确定性通过固定自动化来降低，即精心控制环境。夹具和适配器被设计为将零件约束到亚毫米精度，机器人可以作为重复运动机器运行。在 GB300 测试托盘组装中，不确定性必须通过柔性自动化来解决，因为快速的设计周期和低产量使固定自动化不可行。机器人必须本质上具有适应性并能抵御不确定性。鉴于对 AI 基础设施日益增长的需求，这一范式是 NVIDIA 的战略优先事项。
第二个关键挑战是性能。在机器人研究中，50%-60% 的成功率通常就足够了，80%-90% 的成功率就足以称任务已解决。周期时间、运动平滑度和轻柔处理往往是次要的。此外，统计严谨性往往不足；每个任务通常执行 10 到 20 次试验，而合理的置信区间可能需要更多的评估。
我们的性能要求是与 NVIDIA 运营团队和富士康直接合作确定的，以确保已解决真正意味着已解决。截至本文发表之日，我们正在迅速接近他们的阈值。
▶ https://developer.download.nvidia.com/devblogs/Human-Demonstration.mp4
视频 3. 人类演示我们的机器人解决方案在母线组装和多连接器插入中应执行的操作。这些步骤与富士康工人执行的步骤略有不同（见视频 1 和 2）；机器人解决方案不需要大型保护支架，并且可以在单个阶段完成拧螺丝
技术策略：在正确的时间使用正确的工具
在机器人研究中，技术新颖性备受推崇；这一传统促进了发明创造，但几乎没有激励去优化可能实现更高性能的基线方法。因此，人们很容易在读完一篇研究论文后，仍不理解为什么先前的方法没有奏效。
我们针对 GB300 测试托盘组装的策略是在正确的时间使用正确的工具。对于每个子问题，我们首先考虑（并且通常实现）经典基线方法。当它们不够用时，我们探索了模仿学习、基于仿真的强化学习（RL）与仿真到现实迁移、真实世界 RL 以及视觉-语言-动作（VLA）模型。这一渐进过程使我们能够识别每种方法的优势和劣势，并为创新和复杂性提供依据。
我们现在详细讨论母线组装和多连接器插入；我们的目标是让这些任务成为其他研究和工程团队解决自身真实世界操作问题的案例研究。
组装母线：重温经典方法
母线组装包括以下步骤：
- 抓取限位夹具（即用于辅助组装的一种特定夹具）并将其插入托盘
- 抓取母线（带有附接夹具）并将其插入托盘
- 拧入16颗螺丝以将母线固定到托盘
- 松开并移除附接在母线上的夹具
- 移除限位夹具
我们的初始条件与制造环境一致。限位夹具和母线（带有附接夹具）最初放置在机器人旁边平坦表面上不受约束的位置，螺丝最初搁置在母线内。
制造商要求我们达到99.5%的成功率，并在不超过熟练工人两倍的时间内完成任务（在此情况下，不超过124秒）。不允许与托盘发生意外碰撞，因为即使轻微损坏也可能成为丢弃整个系统的理由。
我们通过实现一个经典流水线（“老式可靠工程”）开始工作，该流水线由独立的感知、规划和控制模块组成，并预期之后转向端到端学习。事实证明，经典流水线非常有效，无需转向。我们解决方案的模块化结构也使系统易于调试和调优，并易于分布到多个机械臂上。
对于感知，我们最初使用NVIDIA FoundationPose，这是一个通用模型，可根据物体的网格、RGB图像和深度图像估计物体的6D姿态。然而，当物体不够可见时，估计值可能偏差90或180度。因此，我们扩展了流水线以摄取多个视图，每个视图产生一个估计值，并选择置信度分数较高的估计值，从而减轻了错误。（注：我们后来转向了一个名为DOPER的专用模型，稍后描述。）
对于规划，我们在自由空间中使用快速路点规划器以减少周期时间，并使用基于Lissajous曲线的操作原语和其他简单路径来对齐可能最初未对齐的零件。
对于控制，我们实现了一个高性能阻抗控制器，以确保在插入过程中施加足够力的同时实现轻柔稳定的接触。现代学习流水线通常实现尽可能简单的控制器，而我们的解决方案利用了自动阻尼设计和惯性补偿。我们认为高性能控制是机器人学习中一个强大但未被充分利用的工具。
为了减少周期时间，我们将工作分配给三个机械臂。一个Flexiv Rizon 4S定位相机以进行姿态估计；第二个Flexiv Rizon 4S插入限位夹具和母线，随后移除母线夹具和限位夹具；一个Universal Robots UR10e使用OnRobot Screwdriver进行16次拧螺丝操作。经制造商同意，对母线夹具进行了轻微修改，以便单个机械臂可以将其解锁。
▶ https://developer.download.nvidia.com/devblogs/Busbar-Solution.mp4
视频4. 我们的母线组装解决方案。一个Flexiv机械臂定位相机以进行姿态估计。第二个Flexiv机械臂插入限位夹具和母线（带有附接夹具）。一个UR机械臂使用OnRobot Screwdriver将母线拧入托盘。然后第二个Flexiv机械臂移除母线夹具和限位夹具
我们的母线组装解决方案实现了超过95%的成功率，我们正在积极提高。剩余的失败主要来自抓取错误和插入过程中的手内滑动。限位夹具和母线子任务满足了其周期时间要求；然而，拧螺丝没有满足，导致完整周期时间为160秒，而目标是124秒。顺序的、设备特定的螺丝刀操作是主要瓶颈，为优化留下了直接路径。
插曲1：基础设施的非凡有效性
在母线组装等具有挑战性的问题上，精心设计的真实世界机器人基础设施使我们能够快速开发、部署和检查我们的系统。
第一个关键基础设施是机器人服务。正如机器人专家所知，使用多个库进行实验常常陷入依赖地狱。我们将库转换为可独立部署的Web服务，这些服务可在边缘、本地或云中运行。这些服务打包为带有FastAPI/HTTP端点的Docker容器；研究人员可以使用轻量级Python客户端来组合来自不同语言和框架的服务。我们使用cuRobo服务进行运动规划，使用FoundationPose服务进行姿态估计，使用FoundationStereo服务进行深度估计等。
▶ https://developer.download.nvidia.com/devblogs/Robotics-Services.mp4
视频5. 我们机器人服务的一个子集
第二个关键基础设施是任务与代理生命周期编排系统（TALOS）。TALOS使用ros2_control作为骨干，并提供运动规划器、操作原语和高性能控制器（阻抗、导纳和力）。该库可以无缝地排序这些组件和学习策略，并以高于500 Hz的实时循环执行控制器。TALOS支持Franka FR3、Flexiv Rizon 4S、Universal Robots UR10e和SO-101。我们将该库用于所有真实世界机器人应用，包括动觉示教、遥操作、双臂协调和运动规划。
▶ https://developer.download.nvidia.com/devblogs/Ikaros-Use-Cases.mp4
视频6. TALOS的示例用例
TALOS 也通过标准 Web 接口对外暴露。因此，编码代理可以访问机器人服务和物理机器人，使代理能够在开发和部署期间组合感知、规划和控制能力。我们的思路与 Anthropic 的模型硬件标准（Model Hardware Standard，MHS）一致，该标准是一种与模型无关的规范，旨在让物理设备可被 AI 代理发现并安全操作；我们的开源DROID+ 项目正是这一方法的范例。
借助我们的机器人基础设施以及在母线排装配方面取得的进展，我们着手开展第二项关键任务：多连接器插入。
多连接器插入：“逆向苦涩教训”
多连接器插入可分解为以下步骤。对于每个电气连接器（2 个大型和 2 个小型）：
- 抓取所连接的线缆，以将电气连接器从板上提起
- 抓取线缆末端的连接器
- 将连接器插入板上对应的插座
![（左）多连接器插入的初始条件。四根线缆已连接到 GB300 托盘顶部，线缆上的连接器被任意放置在板的下部区域。机器人必须选择、重新定向连接器，并将其插入对应的插座[红框]。（中）连接器由两个小型 MCIO 连接器[绿色]和两个大型 DC-SCI 连接器[红色]组成。（右）最终状态，所有四个连接器均已插入其插座。](/media/51/519069fc4340850302c7782c22d1333862515a3d679613a7a8dfb2a00cdbb080.webp)
我们的初始条件同样与制造环境一致。四根线缆的一端均已连接到 GB300 板，线缆没有严重缠结，线缆上的连接器可以任意放置在板上。
制造商再次要求我们达到至少 99.5% 的成功率，并在不超过熟练人类工人所需时间两倍的时间内完成多连接器插入任务（在本例中，所有四根线缆不超过 72 秒）。与之前一样，不允许与托盘发生任何意外碰撞。
尽管描述任务很简单，但由于三个因素，执行多连接器插入异常困难：（1）线缆形状不规则、可塑性变形且易磨损；（2）连接器很小且几乎没有纹理；（3）连接器及其插座间隙很紧，几乎没有容错空间。
我们再次从实现经典流水线开始。为了抓取每根线缆，我们使用 Segment Anything Model（SAM3）在俯视 RGB 图像的预定义区域内分割线缆。我们对每个掩码拟合中心线，命令机器人在指定高度抓取其中心点，并命令机器人向上移动以露出连接器。
这种简单方法几乎没有观察到失败。
▶ https://developer.download.nvidia.com/devblogs/Repeat-Cable-Grasping.mp4
视频 7. 我们线缆抓取方法的重复部署
抓取露出的连接器要困难得多。使用通用模型进行位姿估计效果不佳；连接器尺寸小、外观无纹理，且与线缆的连接区域多变，导致较大误差。因此，运动和抓取规划不可靠。于是我们转向端到端学习感知、运动和抓取。
这条路同样是死胡同。使用动作分块变换器（ACT）或扩散策略的行为克隆成功率很低；这些方法受益于大规模高质量数据，而我们难以获取此类数据。线缆形状和刚度在不同样本间差异显著，且这些专用线缆仅有少量可用。每根线缆在被永久变形前只能被抓取和操作有限次数，这已不再代表部署条件。
我们将这种情况视为“逆向苦涩教训”：在某些现实场景中，由于物理、财务和物流现象，规模化可能难以实现。利用领域知识且需要较少交互数据的经典方法再次值得研究。
我们回到位姿估计，但提出了一组不同的要求：专注于感兴趣的部件，避免依赖准确或独特的视觉纹理，并利用真实世界数据快速改进。我们与 NVIDIA Research 的同事合作，开发了一个名为 Deep Object Pose Estimation Revisited（DOPER）的感知框架。DOPER 受NVIDIA Deep Object Pose Estimation（DOPE）启发，后者是最早研究使用大规模合成数据实现真实世界感知的论文之一。
图 6. 线缆被抓住并提起后露出的连接器。[插图] 来自腕部安装的 RealSense D405 相机的视图。标注了 DOPER 给出的连接器边界框、关键点和 6D 位姿
在仿真中，首先通过输入特定部件的 CAD 模型、从各种视角渲染 RGB 图像，并通过对部件凸包进行最远点采样自动生成关键点标签（按点的可见性和显著性过滤）来训练 DOPER 模型。然后训练一个快速、轻量级的卷积网络，从 RGB 图像预测边界框、分割掩码和关键点标签。
在真实世界中，会捕获该部件的3D 神经重建。预训练的 DOPER 模型在神经重建的不同视图上执行，并配以随机背景，生成伪标签；低置信度的预测通过将高置信度的预测投影到感兴趣的视图中来纠正。
然后在这些标签上对 DOPER 模型进行微调。最后，在推理时，DOPER 模型在感兴趣的场景中执行，并从预测的关键点中提取位姿估计。该过程可以以 30 Hz 或更快的相机帧率执行。
图 7. [左] 由 DC-SCI 连接器的神经重建渲染的动画，用于微调 DOPER 模型。[右] 推理时的 DOPER 模型
DOPER 重燃了我们对位姿估计潜力的信心。该框架使我们能够训练专门针对我们连接器的准确位姿估计器，并实时部署这些模型。利用所得的估计结果，一个机械臂可以将每个连接器平移和旋转到第二个机械臂能够可靠抓取它的位姿。
▶ https://developer.download.nvidia.com/devblogs/Repeated-Connector.mp4
视频 8. 我们的连接器抓取方法的重复部署
插曲 2：作为不确定性降低的机械设计
如前所述，由于快速的设计周期和低产量，GB300 测试托盘组装需要灵活的自动化，其中机器人具有适应性并能对部件和位姿的不确定性保持稳健。同时，灵活系统仍然可以从固定自动化中的创新中受益，例如使用机械设计来降低不确定性。
不幸的是，专注于固定自动化的机电一体化研究人员和专注于灵活自动化的计算机科学家长期以来在不同的领域运作。我们反而提倡一种全栈方法，全面考虑硬件、软件和 AI 研究。
在连接器抓取过程中，夹爪闭合时的接触可能会扰动连接器，使其进入意外或不稳定的位姿。尽管触觉传感、重新抓取和/或手内操作可以是有效的解决方案，但在我们的情况下，最直接且周期时间最优的解决方案就是更好的机械设计。
我们设计了两套多用途夹爪手指，使我们的机器人能够抓取母线、限位夹具、线缆以及大小连接器。
手指几何形状在接触期间约束部件运动，使抓取位姿更加可重复。这些手指几乎可以在任何爱好级 3D 打印机上复制。
最后阶段：一项接触性运动
在抓取每个连接器后，多连接器插入的最后一步是将连接器插入 GB300 板上对应的插座。与插入母线相比，插入连接器更具挑战性，因为导电引脚精细、间隙紧密，且接触期间的引导表面极少。
在此类条件下，已知经典方法难以应对。插座几何形状的变化、机器人控制中的累积误差或不正确的插入力曲线可能导致连接器卡在插座内、错过插座，甚至与周围组件碰撞。柔顺控制器有帮助，但对大空间误差缺乏鲁棒性，并且需要针对每个任务仔细调参。
因此我们转向基于学习的解决方案。基于我们的 sim-to-real 研究路线（1、2、3、4、5），我们使用无模型 RL 在 NVIDIA Isaac Lab 中训练策略，这些策略可以从广泛的初始位姿插入电气连接器，并且我们将这些策略部署到真实世界中。
▶ https://developer.download.nvidia.com/devblogs/DCSCI-Training.mp4
▶ https://developer.download.nvidia.com/devblogs/DCSCI-Envs.mp4
▶ https://developer.download.nvidia.com/devblogs/MCIO-Training.mp4
▶ https://developer.download.nvidia.com/devblogs/MCIO-Envs.mp4
视频 9-12. 在 Isaac Lab 中基于 RL 的并行化连接器插入策略训练。（左）DC-SCI 和 MCIO 连接器的部分训练策略。（右）完全训练的策略
Sim-to-real 迁移在真实世界中为大型连接器实现了高成功率。然而，该方法对小型连接器的效果较差。策略消耗位姿估计，即使微小的估计误差也可能导致连接器在插座边缘滑动。即使对于大型连接器，可靠性仍未达到工业标准。因此我们得出了最终的技术结论：真实世界数据无可替代。
更准确地说，大多数真实世界部署旨在实现最优性能，例如最高可靠性、最高速度或最低干预率。由于仿真与真实世界之间始终存在不匹配，在仿真中训练的策略很容易次优。因此，真实世界部署可以从直接利用真实世界数据中学习而受益，理想情况下应尽可能利用在线交互。
在我们的案例中，我们通过扩展先前的工作 SPARR 改进了插入策略。在 SPARR 中，首先在仿真中通过 RL 训练基于状态的基础策略，然后在真实世界中通过 RL 训练基于图像的残差策略。基础策略的 rollout 为真实世界学习提供引导，以促进高效学习和安全探索。由于连接器在插入过程中被视觉遮挡，我们使用力-力矩输入而非图像来训练残差策略。
▶ https://developer.download.nvidia.com/devblogs/SPARR-UpscaledB.mp4
视频 13. 我们的连接器插入方法的重复部署。在仿真中训练的基础策略的动作与在真实世界中训练的残差策略的动作组合在一起
我们最终的多连接器插入解决方案整合了我们在线缆抓取、连接器抓取和连接器插入方面的方法，以从头到尾组装全部四个连接器。该系统实现了 90-95% 的成功率；剩余的失败主要来自连接器抓取过程中的多臂协调问题。每根线缆的平均周期时间为 40 秒；主要瓶颈是在抓取外露连接器之前对其位姿进行缓慢、离散的调整。尽管性能尚未达到部署要求，但持续的努力正在继续缩小差距。
▶ https://developer.download.nvidia.com/devblogs/Four-Cable.mp4
视频 14. 我们的多连接器插入解决方案。一台 Flexiv 机械臂抬起目标线缆以露出其连接器，并将其重新定向到第二台 Flexiv 机械臂可到达的位姿。第二台机械臂抓取连接器并部署学习到的策略将连接器插入其插座。对每根剩余线缆重复此序列
为何重要：迈向良性循环
自动化 GB300 系统及其后续产品的生产和测试对 NVIDIA 和 AI 生态系统具有不可估量的价值，因为这些系统是基础模型的计算引擎。更长远来看，用智能自动化补充熟练劳动力对国内制造业至关重要：到 2033 年，可能有 190 万个制造业岗位无法填补。从长远来看，AI 硬件的机器人组装可以实现更宏大的愿景：在未来，在人类监督下，AI 驱动的机器人组装 AI 硬件，然后这些硬件再训练下一代 AI 驱动的机器人，形成安全且良性的循环。
Blackwell 的寓言：故事的寓意
攻克 GB300 测试托盘组装是我们开展过的最有启发性的研究实践之一，它强化了任务驱动研究的价值。
在研究中，抽象地发明技术方法是一种常见且有价值的做法，因为随着应用变得清晰，它可能在多年后带来回报。我们在 GB300 组装方面的经验为一种互补方法提供了依据：识别一个具有重大现实价值、近乎不可能的问题，揭示现有方法的能力和局限，并在没有明确前进路径的地方进行创新。
我们的工作还教会了我们七个关键技术教训：
- 位姿估计可以非常有效。在项目开始时，我们既不相信这一结论，甚至不希望它是真的。然而，我们的 DOPER 框架为工业零件生成了快速且准确的位姿估计模型。关键在于以修改后的要求重新审视位姿估计：训练专家模型，避免依赖准确或独特的视觉纹理，并能够基于真实世界数据进行快速微调。
- 机械设计可以有效地降低不确定性。这一结论对自动化界来说是显而易见的，但在机器人学习中可能不那么明显。3D 打印夹爪手指的机械设计使我们能够可靠地抓取夹具、线缆和固定装置，而无需通过触觉传感器、重新抓取机制或手内操作引入复杂性。机器人技术是一个全栈问题，结合人工和机械智能才能取得最佳结果。
- 高性能控制不应被忽视。研究人员数十年来一直致力于开发高性能机器人控制器，但大多数机器人学习论文实现的是尽可能简单的控制律。具有自动阻尼设计和惯性补偿的高性能控制器可以确保平滑的自由空间运动，促进轻柔稳定的接触交互，并提高通过 RL 学习到的行为的成功率和周期时间。
- 受规模瓶颈制约的情形应进一步研究。苦涩的教训得到了显著的经验证据支持；然而，在我们称之为“逆向苦涩的教训”中，当交互数据稀缺、零件难以仿真、更换成本高昂或重复使用会使物体退化时，规模可能难以处理。经典方法仍然可以很强大，基于学习的研究可能受益于进一步强调结构和样本效率。
- 周期时间是成功率当之无愧的对应指标。典型的机器人学习系统可能结合 1 kHz 本体感觉、100 Hz 策略、30 Hz 相机流和 5 Hz 夹爪控制，并具有不同的实时保证。某些子任务可能难以或无法并行化。提高速度必须保持控制精度，确保人类和机器人安全，并避免零件损坏。研究人员应同等重视周期时间和成功率。
- 研究基础设施可加速开发与部署。在我们的工作中，机器人服务和 TALOS 对于避免依赖冲突、使不同规划器和控制器可互换以及跨机器人迁移代码至关重要。初创公司和大型企业可能会在基础设施上深度投入，但研究实验室通常不会；社区为开发面向研究的基础设施所做的努力可能会加速该领域的进展。
- 合成数据和真实世界数据都发挥着关键作用。DOPER 使用大规模、针对特定零件的合成数据来启动训练过程，而我们的连接器插入方法利用基于仿真的 RL 来预训练策略。尽管如此，真实世界数据仍然被证明不可或缺。工业机器人技术的严格要求不能承受性能上的妥协，必须将合成数据和真实世界数据结合起来才能创造真实世界价值。
缩小实验室与工厂之间的差距
在机器人领域，研究成功的真正衡量标准是能否转化到真实世界。我们的下一个目标是将我们的技术部署到 NVIDIA 合同制造商生产 AI 硬件的工厂中；我们的目标是达到或超过他们的性能要求，并以此加速全球最先进计算设备的生产。
然而，真实世界部署伴随着显著挑战。首要的是：即使机器人解决方案在实验室试验中表现良好，如何在部署前保证其性能？工厂将具有不同的环境和工作单元条件，而处理域不匹配是基于学习的机器人近乎普遍的弱点。真实生产线还会受到产品设计变更的影响，这是另一个无法在实验室中观察到的自由度。
此外，即使系统足够鲁棒或具有足够的自适应性，其性能也必须得到验证。要在单侧 95% 置信界下支持至少 99.5% 的成功概率，必须在至少 598 次试验中观察到零失败。在我们的案例中，由于磨损，此类评估可能需要数百个重复的 GB300 组件。尽管最近在物理仿真和交互式世界模型方面取得了进展，准确仿真几何和机械上不规则的组件仍然是一个开放挑战。
我们建议从自动驾驶汽车（AV）行业汲取灵感。在 AV 中，离线训练和在线部署之间的界限是模糊的：最初，人类仔细监督并纠正车辆行为，但随着时间的推移，汽车变得越来越自主。类似地，机器人学习系统应以强大但不完美的性能进行部署。人类或人类监督的智能体应无缝记录干预，系统应利用这些干预来持续改进。随着时间的推移，将在真实世界部署条件下收集足够的数据，以提供关于性能的强统计保证。
真实世界部署的第二个关键挑战是，在部署机器人解决方案解决特定任务后，如何让下一个任务花费更少的精力来解决？这个目标可以用两个词来概括：泛化和自适应性。
泛化的一种强形式是，在一组任务上训练的机器人能够很好地解决新任务。如果机器人知道如何将定位销插入孔中、组装一组齿轮并拧紧螺丝，它就应该具备插入 USB-C 线缆所需的高层常识和低层灵巧性。自适应性的一种强形式是，机器人不知道如何解决新任务，但能够高效地学习它。能够组装 0.5 mm 间隙齿轮的机器人应该能快速学会组装 0.1 mm 间隙的齿轮。
与研究共识一致，我们认为通往泛化和自适应性的长期路径是通过从互联网规模数据中学习的模型，包括视觉-语言-动作模型（VLA）、世界-动作模型（WAM）和机器人原生基础模型。这些模型已展现出显著的物理常识、快速适应和上下文学习迹象。
然而，机器人社区有一个公开的秘密：我们距离捕捉物理世界近乎无限的多样性并从中高效学习还有很长的路要走。作为一个思想实验，一家 AV 公司每天可能收集 100 TB 到 1 PB 的有用数据，但自动驾驶只是通用机器人应该知道如何执行的一个任务。此外，在合理约束环境中的模块化系统通常比端到端模型泛化得更好、更快（例如，1、2）。
我们看到了机器人基础模型实现泛化和自适应性的三条互补路径。第一条路径是数据飞轮：在部署条件下构建持续改进的机器人系统，在部署期间收集数据，并使用数据对基础模型进行中期训练或后期训练。关键限制是覆盖范围：每次部署都代表一个狭窄的交互分布，基础模型可能难以进行插值。
第二条路径是世界模型。将其定义为“动作条件多模态预测模型”，这些模型几乎可以在任何物理数据源上进行训练。研究人员最终可能将它们用作所有物理交互的模拟器，从而实现机器人基础模型的多样化后期训练。然而，未来的世界模型必须随时间演进；如前所述，物体动力学可能高度非平稳。
第三条路径是智能体驱动的机器人技术。正如近期突破所表明的（例如，1、2、3），智能体不仅展现出越来越多的人类常识（包括空间推理），还能在模拟器、世界模型和真实世界中提出有效的动作。智能体引导的动作可能生成后期训练数据，而智能体引导的干预最终可能替代人类在新任务上的纠正。
▶ https://developer.download.nvidia.com/devblogs/Astra-Max.mp4
视频 15。近期在习得的世界模型中使用 GPT-6 Astra 进行的实验。Astra 具备令人印象深刻的空间理解能力，能够在世界模型中控制机器人，使机器人研究人员能够收集大量有价值的数据
我们以行动号召作结：来加入我们的旅程吧。AI 硬件的机器人装配不仅代表了当今时代最具影响力的问题之一，也是基础与应用机器人研究一个引人注目的北极星。我们很高兴看到社区在这个方向上取得快速进展。
深入了解
我们正在准备一份白皮书，详细描述我们的方法和最新实验结果。我们也在努力发布 DOPER 和 TALOS 供社区使用，以及与 NVIDIA Isaac 工程团队合作构建的连接器插入参考工作流。
每次发布上线后，我们都会用链接更新本文。
查看我们的NVIDIA 机器人研究与开发文摘（R2D2），快速了解 NVIDIA Research 在物理 AI 和机器人应用领域的最新突破。
订阅新闻通讯，并在 YouTube、Discord 和开发者论坛上关注 NVIDIA Robotics，以保持最新动态。要开启您的机器人之旅，请注册免费的 NVIDIA 机器人基础课程。