与 AIE NYC 一起观看，并下个月在旧金山参加我们的 AIE CODE！
本期节目包含 Taku 机器人的现场演示，在 YouTube 上观看效果最佳。
上个月，Dyna 凭借发布 Dyna-2 引发轰动，这是一个在百万小时人类视频上预训练的世界-动作模型，并声称在人类数据上跨越四个数量级取得了若干新的缩放定律。他们现在又在该模型之后推出了一个物理机器人智能体 Dyna-2.1，它必须亲眼所见才能相信：
在今年 AIE 的演讲中，Jason 谈到了现实世界中机器人技术真正的挑战是可靠的长时程自主性，以及 Dyna 如何让其模型在连续 24 小时折叠餐厅餐巾纸时达到 99.4% 的成功率，包括在它把整摞餐巾纸拉倒后恢复过来。
从在超过一百万小时的人类视频上训练世界-动作模型，到在鼎泰丰每天部署折叠数千张餐巾纸的机器人，Dyna Robotics 正在将物理 AI 推向前景可观的演示之外，带入真实世界的生产环境。在本期节目中，Dyna Robotics 联合创始人兼首席科学家 Jason Ma 在录制现场加入 swyx，深入探讨机器人如何仅凭 45 分钟的演示就能学习新任务，为什么预测物理世界的未来可能是通用机器人技术的关键，以及要打造能为真实客户可靠工作的机器人究竟需要什么。
我们深入探讨了 Dyna-2——Dyna 的百万小时世界-动作模型，它将未来视频预测与机器人动作相结合；人类到机器人迁移背后的缩放定律；扩散 Transformer 与流匹配；以及为什么合成环境和自生成训练数据可能开启机器人技术进步的下一波浪潮。Jason 还解释了为什么 Dyna 自建硬件而不是依赖现成的人形机器人，智能体框架如何使机器人能够执行长达一小时的工作流程，为什么灵巧手和缺失的感官数据仍然是主要瓶颈，以及是什么将真正的商业部署与机器人初创公司的坟场区分开来。我们还讨论了世界-动作模型与视觉-语言-动作模型的对比、GPT-6 和机器人技术中的编程智能体，以及 Jason 从 AlphaGo 和宾夕法尼亚大学到 NVIDIA、Google DeepMind 再到创立 Dyna 的历程。
我们讨论的内容：
为什么
Dyna-2是在超过一百万小时的人类视频上训练的世界-动作模型：预测未来视频以指导物理机器人动作扩散 Transformer、流匹配与实时机器人控制机器人如何仅凭
45 分钟的演示学习新任务为什么机器人技术
没有互联网的等价物，数据仍然是其最大的扩展挑战人类第一人称视角视频、机器人演示与跨具身迁移合成环境、仿真以及能生成自身训练数据的模型为什么机器人需要
端侧推理、模型蒸馏与定制硬件为什么 Dyna 选择
轮式半人形机器人而不是传统的双足机器人硬件瓶颈：为什么
灵巧机械手仍然过热西佳酒店、鼎泰丰，以及机器人试点与规模化部署之间的差异机器人学的苦涩教训：用数据扩展取代工程化的专用解决方案智能体执行框架与机器人执行多步骤、长达一小时的物理工作流GPT-6、编程智能体，以及为机器人研究生成的 AI 仿真环境世界-动作模型 vs. VLA，以及为何仅靠视觉可能不够Jason 的历程，从
AlphaGo、宾夕法尼亚大学、英伟达、Google DeepMind，到 Eureka 项目Dyna 的
研究文化、部署优先的理念，以及让数百万机器人落地的愿景
Jason Ma
Dyna Robotics
时间戳
00:00:00 引言与 Dyna-2 的世界-动作模型
00:03:08 扩散 Transformer、流匹配与通用机器人
00:08:19 机器人数据瓶颈
00:13:50 合成数据与自我改进的世界模型
00:16:51 实时推理与模型蒸馏
00:19:45 全栈机器人：硬件与供应链
00:25:02 Dyna 为何打造轮式半人形机器人
00:29:35 教机器人新任务与评估性能
00:31:59 自主工作流与硬件局限
00:36:06 在西佳酒店与鼎泰丰的真实部署
00:41:07 机器人学的苦涩教训
00:46:13 面向物理 AI 的智能体执行框架
00:49:07 GPT-6、编程智能体与 AI 原生机器人
00:52:02 世界-动作模型 vs. VLA
00:59:17 从 AlphaGo 到创立 Dyna Robotics
01:04:20 Dyna 的研究文化与机器人学的未来
文字记录
引言：Jason Ma 与 Dyna Robotics
Swyx [00:00:00]： 好的，我们来到了现场，与 Dyna Robotics 联合创始人兼首席科学家 Jason Ma 在一起。感谢你让我们来到你的办公室。
Jason Ma [00:00:06]： 当然。感谢你们前来。
Vibhu [00:00:07]： 这一趟太棒了。我们看到了——你们会看到很多花絮镜头——饮料被拉出来，大量的评估，还有第一次见到带刀的机器人。所以在这一切的背后，你们有一个世界-动作模型。那是什么？
Dyna-2：一个预测未来的世界-动作模型
Jason Ma [00:00:22]： 上个月，我们发布了我们的世界-动作模型，叫做 Dyna-2。它是首个在超过一百万小时数据上训练的世界-动作模型。先回到你的问题，世界-动作模型是一种能够预测未来视频、预测世界未来状态的模型，因此得名世界模型。但除此之外，你还可以利用这种未来生成来产生机器人可以在物理世界中执行的动作，从而控制机器人。我们为什么这样做？这是一个非常强大的架构，因为如果你想想人类在物理世界中如何行动，在我们的大脑中，我们其实在隐式地思考世界将如何根据我们的行动演变。所以现在我们有了一个能够做到这一点的模型架构，来引导机器人的动作。我们发现，通过这样做，模型更加灵巧、更加鲁棒，也更有能力泛化到它从未见过的环境和场景。
世界-动作模型：输入、输出与视觉推理
Vibhu [00:01:17]： 我想稍微追问一下这个问题。我觉得很多人听到“世界模型”，就会以为你输出的是视频、世界或 3D 状态。但你也在做动作。我觉得大多数人并不了解机器人底层用的是什么模型。那么，输入和输出是什么？训练数据是什么？架构是什么？请把所有细节都告诉我们。
Jason Ma [00:01:39]： 那么，对于输入来说，最重要的输入是视频，对吧？你可以想想机器人用它的摄像头拍摄的视频，对吧？所以过去很多秒的视频或图像，这就是输入。但对于机器人来说，真正有趣的是，机器人自身也有很多执行器和关节编码器。所以机器人也知道自己关节的角度。因此这些也可以作为这个世界模型的输入。这就和只看视频的纯视频模型非常不同，对吧？所以这就是输入。此外，对于机器人来说，你希望能够和它对话，指示它去做不同的任务，对吧？所以你还可以给它输入语言指令。所以这些就是我认为会输入到任何机器人模型中的基本输入集合，包括世界动作模型。而一旦我们有了这些，输出方面，在最基本的层面上，它需要输出机器人可以在硬件上执行的动作。但在世界动作模型的情况下，真正有趣的是，除了动作之外，它还可以输出未来视频，对吧？所以基本上，你几乎可以先输出未来视频或它的某种表示，然后用它来引导机器人的动作。所以我思考这件事的方式是，这有点类似于思维链，你知道吧。基本上，这些模型是在视觉、物理空间中进行推理，然后输出动作。所以这就是世界动作模型的输出与其他类型的模型、机器人模型的输出之间的关键区别。
扩散 Transformer、流匹配与平滑动作
Vibhu [00:03:08]： 你围绕你们的模型发了一篇很好的博客文章。我觉得很多人理解语言模型或 Transformer，也就是下一 token 预测器。在这种情况下，你分享了不少内容。有扩散、流匹配，你在预测下一个世界状态加动作。你说到的一点是一百万小时。你如何确定架构？比如，那里有哪些选择？架构是什么？我感觉在语言模型里，有很多现成的东西可以拿来用——拿数万亿 token，做预测、SFT、RL，然后你就有了一个模型。那这个呢？你如何从零走到你的模型？有没有现成的普通架构？这些是你自己决定的吗，当前的状态又是什么？
Jason Ma [00:03:49]： 是的，我觉得，是的。所以，思考我们如何为机器人构建模型的心智框架是，基本上有几件事要看。一个是数据，第二个是我们如何让模型尽可能多地从这些数据中学习。所以我们先谈谈模型本身，对吧？我们发布的那篇博客文章讲的是我们的 Dyna-2 世界动作模型。所以底层是一个扩散 Transformer。该模型使用的是仅编码器的 Transformer 架构。
Vibhu [00:04:20]： 对，是的。
Jason Ma [00:04:20]： 但真正有趣的是，在视觉领域，对吧，如果你想想生成图像、生成视频，而在这种情况下，机器人通过观察图像来生成动作，人们发现扩散（diffusion）这种架构效果非常好。那么什么是扩散模型？扩散模型是一种接收一些随机噪声，并通过迭代计算从噪声变成非常高维、非常清晰、具有非常细粒度特征的东西的模型。如果你想想生成图像，对吧，你想要锐利的边缘、锐利的角、色彩对比。而对于机器人技术，即使你不是在生成图像，你是在生成需要非常精确、非常平滑的动作，对吧？所以它有着与生成图像相同的考量和需求。这就是为什么从第一性原理出发，整个领域，不仅仅是我们，一直在使用这种扩散 Transformer 架构来训练机器人基础模型。你需要 Transformer 的部分，因为 Transformer 是那个能够摄入最大量数据、能够学习的东西。然后扩散帮助你精炼输出，得到你实际在机器人上执行所需的平滑、精确、细粒度的运动。这就是我们最近许多突破背后的架构。
Swyx [00:05:37]： 我们之前在播客上讨论过流匹配（flow matching）。它主要是一种效率上的加速。比如说，你通常需要四十到一百个扩散步骤。你可以把它减少到四步。
Jason Ma [00:05:48]： 是的，没错。所以对于扩散模型，实践中非常困难的一件事是你需要调整调度器（scheduler），比如你把初始噪声输入转换成最终输出的调整幅度。所以流匹配有点像扩散的一个特例，它使变换变得简单得多。在实践中，你不必调整那么多，而且效果一样好。这就是为什么我认为大约两三年前，大多数图像和视频的生成建模已经从扩散模型转向了流匹配模型。但概念是一样的，流匹配只是扩散的一个特殊的、更容易调整的变体。是的。
Swyx [00:06:26]： 这实际上让我想到。所以流匹配显然在质量上有权衡。但实际上，它非常适合动作扩散和机器人技术，因为你可以实时重新评估。而在图像中，你基本上是——它基本上是一次性的。
Jason Ma [00:06:40]： 没错。
预训练通用机器人并适应新任务
Vibhu [00:06:41]： 这挺有趣的。我们得以摆弄叠衣服机器人……扔一条随机的毛巾进去。模型会适应，对吧？我认为你们模型的一个关键点是它们是——它们被设计成通用型的，所以一个基础模型，你可以大量地适应它们。这是如何工作的？基本上，在 45 分钟的映射数据中，你可以泛化到。我们看到了一个从冰箱里拿饮料的例子。一个通用模型的思路是什么，然后你如何适应不同的任务？
Jason Ma [00:07:14]： 所以我们是这样思考的：对于机器人技术，我们需要构建一个非常通用、强大的基础模型，对吧？然后——因为如果你想想人类在物理世界中是如何互动和行为的，对吧，我们拥有非常强大的基础知识。我们可以轻松地完成很多任务。但如果你想成为任何特定任务的专家，就需要进行一定量的训练。我认为，要训练像我们在这里构建的通用机器人，同样的原则也适用。所以我们的方法是首先训练一个通用模型，用我们能找到的尽可能多的数据来训练。这就是为什么在我们的 Dyna-2 报告中，我们的模型以超过一百万小时的人类数据作为起点进行训练。然后，有了这个强大的基础，我们发现我们可以通过非常少量的微调，快速让机器人或模型执行许多不同的任务，只需告诉模型：“这是我希望它执行的任务，这里只有很少量的演示”，模型就能轻松完成你在办公室看到的一系列任务。是的。
一百万小时的数据：第一人称视频和机器人演示
Swyx [00:08:19]： 实际上，我们有不少人从事数据相关的工作，他们出售数据。什么是好数据？什么是坏数据？你想买什么？我认为这些都是开放性问题。显然，我认为最重要的东西是人类执行任务的第一人称数据。对于这个基本陈述，你还会修改什么？
Jason Ma [00:08:42]： 所以我认为数据是当今机器人技术中最重要的东西，因为与语言模型不同，没有互联网，对吧？所以每个构建模型、构建硬件的公司都必须考虑数据。因此，这里大致有几种不同的操作方式。一种是你自己收集大量数据，这也是我们正在做的。
Swyx [00:09:02]： 你这里有员工在做这个。
Jason Ma [00:09:04]： 办公室里到处都是机器人，对吧？但如果你想想机器人基础模型需要多少数据，我认为任何单个公司自己能收集到的数据量都远远不够，对吧？这有点像，你试图只靠 Reddit 或只靠 Facebook 来构建一个互联网。它们是很好的网站，用户很多，但这还不够，对吧？所以当我们考虑数据时，必须有某种数据获取在发生，对吧？你购买数据，你查看已经存在的数据。然后有很多不同的层级，对吧？你提到了数据质量。我认为机器人领域的数据质量是一个非平稳问题，因为对你模型来说什么是高质量数据会随时间变化。比如，当你的模型什么都不知道时，比如当它是零的时候，任何数据都有用，对吧？你可以使用大量视频数据。在以自我为中心的数据的情况下，我认为这实际上是预训练机器人的一种非常好的方式，因为人类数据如此多样。比如，它涵盖了你所能想象的所有身体活动。这给了机器人、给了模型如此强的先验，关于事物如何、世界如何能围绕一个具身行动者——人类——演变。但人类数据的问题在于，除非你的机器人看起来完全像人类，否则人类动作和机器人动作之间会存在一些差距，对吧？所以仅仅通过训练人类数据，今天，不太可能直接执行机器人动作。所以你仍然需要一些使用机器人自身数据的适应，对吧？但在机器人上收集的机器人自身数据会昂贵得多，也难收集得多。所以我们正在思考的配方有点像，我们如何利用今天拥有的最大数据源，比如以自我为中心的数据，给模型一个关于物理操作所能涵盖的一切的强先验，然后将其与少量机器人数据结合，使机器人掌握我们感兴趣的任何任务。所以数据质量和在机器人领域获取数据，我认为这是一个迷人的、多面的问题。但现实是，没有单一的制胜策略，比如，“哦，这是一种数据。我只收集那个，”
Jason Ma [00:11:25]： 这会给你一个强大的基础模型。你真的需要考虑，“这个人类数据涵盖了我需要的机器人认知的这一部分。机器人数据涵盖了机器人也需要的低级反射灵巧性，”并把它们放入一个模型。我认为这就是最终给出一个真正可适应、真正强大的模型的原因。是的。
数据合作伙伴关系和专业训练示例
Swyx [00:11:44]： 我会提示你，再次，为了那些想与你合作的听众。你想要什么数据供应商。这是你对数据的呼吁。什么——Jason Ma [00:11:55]： 是的，不，这是个好问题。而且是的，所以在我们的 Dyna-2 博客末尾，我们实际上有一个电子邮件地址，叫做 [email protected]。所以如果你是一个数据供应商，拥有大量高质量的数据，无论是自我中心数据、机器人数据、视频数据，还是任何你认为能帮助机器人的东西，发送到那个电子邮件。我们的团队会看一看，我们会回复你。
Swyx [00:12:16]： 但在你这个阶段，你是吗。你可能不会再从货架上买更多以自我为中心的数据了，对吧？你可能想要的是，“这是我需要的。你去——”
Vibhu [00:12:26]： 有没有哪个细分领域是缺失的？
Swyx [00:12:28]： 你需要一个 Scale AI，你需要一个 Mercor 来做这件事。我明白了。定制数据——Vibhu [00:12:32]： 那些不在机器人领域工作的人可能会想，“好吧，某个细分工厂。”就像……你展示了把管子放进去。关于那个你只能找到这么多数据，但其中很多会帮到你吗？
Jason Ma [00:12:43]： 是的，不会。如果你真的想搞定一个任务，拥有来自那个任务的数据肯定会帮到你很多，对吧？所以对我们来说，就像我们仍然认为，仅仅一百万小时的数据是不够的。这只是开始。就像，我们展示了第一个百万小时规模的模型，但我们需要的不止这些，对吧？所以我们仍然在寻找大量我们能获取的原始、多样化的数据。但我们也在思考，如何获取更多定制数据，要么是内部收集的，要么是由我们的合作伙伴为真正特定的细分任务收集的？因为我认为你仍然需要这些才能达到卓越，任何模型要想在物理世界中真正有用都需要这些，对吧？这有点像人类，你知道。如果，Sean 或我，我们明天去 Rosewood Hotel 工作，我们没法按他们想要的方式铺床，对吧？我们需要大量训练。所以那种数据，像特殊数据，有点像 Mercor 今天为语言模型做的事情，我认为对机器人也会非常有价值。
Vibhu [00:13:42]： 所以酒店，给你们的员工头上绑一个 GoPro，然后。
Jason Ma [00:13:48]： 然后可能还有更多那样的。
Vibhu [00:13:49]： 有
合成数据、模拟与 Eureka 项目
Swyx [00:13:50]： 把他们自己挡在路上。是的。所以我们讨论的一件事是结束这次采访，而非常有趣的是现在你基本上可以即时制造环境。你有用前沿模型试过吗？你的经验是什么？它们足够好吗？
Vibhu [00:14:06]： 你在用任何世界模型机器人吗。就像，世界模型公司来生成这些并在它们上面训练吗？
Jason Ma [00:14:13]： 所以，我认为为机器人技术生成合成环境、合成数据、仿真数据，将成为下一个前沿领域之一，对吧？因为如今人们已经关注了第一人称视角数据和机器人数据。这些数据正在规模化，但我认为合成数据将成为一个新的规模化维度。所以回到你的问题，是的，我们一直在探索使用前沿模型来为我们生成合成环境，基于我们关心的数据和环境。而且令人惊讶的是，我认为现在这项技术已经达到了一个非常值得深入研究的阶段。所以补充一些背景，在我的博士研究中，我主要专注于基于仿真的机器人训练。当时，仿真技术还不够成熟，但我们有一篇叫 Eureka 的论文，这是第一篇采用大语言模型的论文。当时用的是 GPT-4，研究如何自生成环境、生成奖励函数或强化学习，并在仿真中完成各种任务。最后，我想我们有一个非常棒的演示——机器人旋转铅笔，对吧？当时那真的很酷。但那种事情在当时仍然非常有限，因为那时候模型并没有真正具备良好的视觉能力，没有内在的 3D 理解能力，对吧？所以它基本上只是生成代码，并利用非常有限的文本反馈来尝试提出新的仿真环境。但如今这些前沿模型的视觉能力简直令人难以置信。它们可以做真实到仿真的转换、做 CAD 建模、3D 重建等等。所以我认为现在正处于一个临界点，Jason Ma [00:15:52]： 这项技术真的可以加速机器人技术的发展。对我们来说，我们将其视为加速内部进展的一种方式，对吧？因为我们在构建模型，我们在构建硬件。所以如果一个前沿模型能以那种方式给我们更多数据，比如为我们自己生成真正量身定制的数据，那对我们来说极其有用。我们一直在思考的另一件事是，与其用这些模型来生成 3D 环境，我们也使用了自己的世界模型，对吧，就是我之前跟你提到的世界动作模型，因为这个模型不仅能生成动作，还能生成视频。我们——这个模型还能生成自己的训练数据。所以这就形成了一个自我实现的飞轮，我认为这也会非常强大。总的来说，我对这个方向真的非常兴奋，因为我认为即使我们已经扩展到了一百万小时的数据，我们正在部署大量机器人。这些机器人已经开始做非常酷的事情了。我们才刚刚开始，这只是冰山一角。是的。
端侧推理、延迟与模型蒸馏
Vibhu [00:16:51]： 对于做研究的朋友们，我们最近在播客中邀请了 Runway。他们的方向之一就是机器人世界模型。他们正在稍微朝那个方向转型，所以……建议大家去看看。关于你们自己构建模型，我的一个问题是你是在什么样的约束条件下运作的？如果你类比语言模型，你会看到 GPT-OSS 20B 非常适合普通 MacBook。然后有更大的模型适合单张 GPU。你是在机器人的约束下工作，模型是在端侧、云端，还是混合？然后这对你的数据缩放定律有什么影响？一百万小时很棒，但我们是直接扩大参数和数据吗？
Jason Ma [00:17:38]： 不，这是个很好的问题。所以我认为机器人与语言模型及其他应用真正不同的地方在于，对于编码智能体、语言模型来说，有延迟是可以的，对吧？如今，每当我问 ChatGPT，它都要等几秒钟才会吐出内容。但对于机器人来说，推理延迟必须非常短，对吧？机器人需要行动。就像，它不能拿着刀三秒钟什么都不做。那会把人吓坏的，对吧？
Vibhu [00:18:07]： 是的，我们见过有人把真手放在刀下面。
Jason Ma [00:18:10]： 我们的模型相当聪明，所以没关系。但总的来说，如果你考虑非常动态的任务，比如，你想让你的机器人拿着，我不知道，一个网球拍并且颠球，对吧？这非常动态，非常需要实时反应。你不能只是……物理、重力不会等你，对吧？因此，机器人模型需要能够非常快速地推理。而实现这一点的最快方式是在本地部署，比如在设备上，对吧？因为如果你调用一个模型——Swyx [00:18:39]： 网络延迟。
Jason Ma [00:18:40]： 没有保证——Vibhu [00:18:41]： 自动驾驶汽车。
Jason Ma [00:18:42]： 没有保证，对吧？所以出于这个原因，最终部署的模型必须具有合理的规模，能够在本地提供服务。但这并不意味着你训练的初始模型也必须很小，对吧？就像在语言模型中——Vibhu [00:18:57]： 你可以蒸馏。
Jason Ma [00:18:58]： 人们做蒸馏，对吧？就像，让一个小模型变得非常聪明的最佳方式是进行蒸馏，对吧？你训练最大的模型，然后蒸馏，对吧？所以我认为在机器人领域，我们正在朝着这个方向前进，但我认为这就是人们将会趋同的方向。是的。
Vibhu [00:19:14]： 推理方面呢？你们有自己的推理栈还是……很多都是架构。你们引入了扩散之类的。我猜你们可以从某些东西上借鉴。有什么想分享的吗？
Jason Ma [00:19:26]： 我们为我们部署的任何模型构建自己的推理栈，因为——就像我说的，延迟非常重要。所以拥有整个栈对机器人技术来说极其重要，对吧？你想为你运行的模型类型优化推理速度，这里面有很多工作。所以这就是我们所做的。
构建完整的机器人栈：传感器和执行器
Swyx [00:19:45]： 你们真的是全栈，就像——从执行器一直到工业设计 ID，我——之前真的不知道这个缩写。显然还包括模型和数据。
Vibhu [00:19:57]： 我很好奇，这些是你们自己的执行器，还是……这里面有多少是你们自己的？比如，当然，设计，不是像人形——执行器，就像在机器人栈中深入到什么程度？
Jason Ma [00:20:08]： 所以我们考虑哪些需要自研、哪些可以外购的方式是这样的：如果一个组件的输入输出非常明确，而且已经有极其优秀成熟的解决方案，那就没有自研的意义。比如这台机器人上，你看到那些激光雷达了吧？那些黑色的圆圈，就是帮助机器人探测障碍、导航周围环境的激光雷达。这是一项非常成熟的技术，人们已经用了几十年了。自动驾驶汽车上也在用。所以我们不需要从零开始造激光雷达，对吧？某些摄像头也是一样。但对于任何我们认为对最终整个系统性能至关重要的东西，我们的愿景是能够自己掌握并自研。所以有一点，你提到了执行器。那是我们正在攻关并且打算自研的东西。原因是，执行器的质量以及你如何设计它，真的会决定你能把机器人建模建得多好，对吧？执行器是驱动机器人的东西。要想在仿真中很好地为机器人建模，或者做任何形式的建模，你就需要选用非常优秀、能够轻松建模的执行器。所以这是我们最终关心的。我们要自己掌握这个。机器人的比例也是一样。这台机器人的比例是参照真人来测量的。我们为什么这么做？因为我们在用人类数据进行预训练。
Swyx [00:21:36]： 哦，对。
Jason Ma [00:21:36]： 为了最好的迁移效果，对吧？所以硬件方面有很多这类决策，都和这一点紧密相关。因为最终，是硬件承载智能。智能才是极其重要的东西。我们要确保硬件为智能服务。
Swyx [00:21:53]： 我只想强调一点，不知道这跟你是否相关，但我经历过的最有意思的机器人讨论之一，是有人对执行器、特别是磁体感到非常焦虑，因为据说美国不生产磁体。
制造、稀土磁体与全球供应链
Jason Ma [00:22:06]： 对，我们不生产。
Swyx [00:22:07]： 而且只有两个国家生产磁体。
Jason Ma [00:22:09]： 稀土材料。
Swyx [00:22:10]： 稀土，对吧？我不知道那是什么。那是什么化学——什么材料？我不知道那东西是什么，但——所以是的，如果有人对此感兴趣，据说这是我们面临的一个瓶颈。
Jason Ma [00:22:20]： 不，不是瓶颈。
Swyx [00:22:21]： 是个瓶颈。那我们怎么办？
Jason Ma [00:22:23]： 这是个好问题，对吧？我觉得，关于把制造业带回美国有很多令人兴奋的讨论，但尤其是对于机器人来说，这实际上比看起来要难得多。我想说，即使是现在，美国也没有一家公司真正在美国从零开始制造所有东西，对吧？就像，即使他们说他们组装机器人，他们在美国做他们实际在做的事情，他们仍然从世界其他地方采购原材料。我认为这是作为机器人建造者真正需要意识到的事情，对吧？就像，我觉得，作为一家全栈机器人公司，我们意识到供应链有多长，整个问题有多长。这实际上极其困难。而且我认为如今，很多讨论都集中在机器人基础模型数据上，但我认为硬件以及构建优秀硬件有多难这一点被严重低估了。但我认为这将极其重要。
Swyx [00:23:27]： 这是一个平台，对吧？
为什么 Dyna 协同设计其硬件和模型
Jason Ma [00:23:29]： 平台，是的。
Swyx [00:23:30]： 有些公司选择成为，我们称之为无平台的。他们只做模型，他们会说，“我们在任何平台上部署。”我们部署在 Optimus 上。
Vibhu [00:23:37]： 现成的机器人技术。
Swyx [00:23:38]： 所以，这是一个选择，对吧？就像，显然，你拥有 everything，所以你可以这样做。你认为自己会在美国建造更多，还是会建立自己的全球供应链？可能的方向是什么？
Jason Ma [00:23:52]： 所以我们目前正在探索许多不同的选项，对吧？因为有了全球供应链，就会有一些地缘政治的事情，对吧？
Swyx [00:24:02]： 运输。
Jason Ma [00:24:02]： 运输。还有运输延误之类的所有事情。
Vibhu [00:24:04]： 字面意义上的机器人船只。
Jason Ma [00:24:06]： 而在美国，只是从零到一需要一些时间，对吧？所以我们正在尝试思考一种解决方案，既能让我们在美国建造更多，又能利用全球供应链，对吧？但我确实认为，回到你之前关于一些公司选择只构建模型的问题，我们构建一切，我认为把这件事做对非常重要。我觉得对于机器人技术来说，困难的事情是。就像构建整个系统。构建整个系统需要哪些必要的东西？就像，之前，我在 DeepMind，我在 NVIDIA，主要只是构建模型，我看到了当你无法控制硬件时系统的上限，当你无法优化它时，对吧？因为如果你考虑机器人的价值创造，最终机器人是为了提供服务来解决一些物理任务。所以如果你想解决物理任务，你希望能够优化一切，这很重要。
半人形机器人：轮子、躯干运动和灵巧性
Vibhu [00:25:02]： 我们有机器人。你得告诉我们关于设计的事情。你自己的定制平台。你叫它什么？
Jason Ma [00:25:11]： 我们叫它什么？
Vibhu [00:25:12]： 是的，所以它不是人形。它非常平滑，但那个旋转臂是什么？
Jason Ma [00:25:16]： 是的，所以我们通常把它看作一种半人形机器人。基本上，上半身是人形的。当然，它有肩膀，有手臂。它的腰部还有四个自由度。所以基本上，人类能做的所有上半身动作它都能做。但它是半人形，因为下半身是轮子。好的，那我们为什么选择轮子呢？因为我认为这里有一个区别。存在最优实用性与性能之间的权衡。我认为用腿的话，能耗会高得多。会不稳定得多。安全性将极难保证。所以目前，对于足式机器人，实际上无法保证机器人始终能保持直立、平衡。我相信你们看过很多那些机器人跳舞的视频。就像机器人跳舞那种东西。
Swyx [00:26:08]： 看过跳舞，是的。它们都，很容易摔倒。
Vibhu [00:26:10]： 不，但你也看到过那些一看就不是量产版的演示，你可以对机器人拳打脚踢，把它推倒，它表现得非常好。但那个机器人只是擅长平衡，对吧？就像——有一个。
Swyx [00:26:21]： 我觉得你们更有趣的创新是。我们有一个原型机，就是后面这台 Mewtwo。
Jason Ma [00:26:29]： 你可以这么叫它。
Swyx [00:26:30]： 这个就像是一个上下轴，然后你们选择转向类似这样的东西，它有能力倾斜。我们要展示那个洗衣房的演示，你必须靠向机器。对吧？那是另一个自由度，我甚至找不到词来形容它。它不是俯仰，也不是偏航。它是别的东西。
Jason Ma [00:26:47]： 是的，那我们是怎样考虑这个问题的呢？就像，实际上，它非常用于锻炼。就像，我觉得有时候，几年前我锻炼的时候，我不小心拉伤了一块肌肉。对吧？我相信你们也有过这种经历，对吧？然后接下来几天你就是动不了，或者你睡觉姿势不对拉伤了，脖子很僵硬。我们都经历过。然后每当你经历这些，你就会意识到，哇，我们在日常生活中使用了那么多肌肉、那么多自由度，却习以为常。但当它失灵时，你去做一些你觉得很自然的任务就会变得非常别扭，对吧？所以这也是我们设计机器人时的思考方式。当你有一个——这种设计，就是纯升降式的，只能上下移动，我们意识到很多人类躯干运动，比如我们在日常体力活动中大量使用腰部和背部，对吧？即使我想拿这个瓶子，我也不只是移动手臂。如果我必须刻意去想固定我的上半身，那对我来说其实非常奇怪。我总是会这样做，对吧？所以人类移动身体有很多潜意识的方式，我认为如果机器人有相应的自由度，这些方式同样有用。如果你进一步想，好吧，我们想从人类数据中学习。就像，人类一直在移动他们的躯干。你希望能够把这些数据输入模型来控制机器人。但如果你的形态不允许这样做，那么迁移就会变少，机器人就会变得不那么灵巧，而且更加别扭。
将人类预训练迁移到新的机器人硬件
Vibhu [00:28:22]： 这方面的数据标注是怎样的？就像，我——你也见过一些人。这是后训练微调的最后一步，实际上就是花时间使用机器人遥操作或远程控制映射运动吗？还是其中一些可以泛化？
Jason Ma [00:28:41]： 你说的标注是指？
Vibhu [00:28:43]： 比如，把你拥有的预测状态的模型映射到你的特定硬件上。
Jason Ma [00:28:50]： 哦，是的。它泛化得非常好。所以对于我在新机器人上向你展示的所有演示，因为新机器人，我们，它不久前才准备好。所以我们确实没有像我们向你展示的固定机械臂那样多的数据，那些有更多的数据，对吧？但是新机器人，模型在预训练中没有见过这个，在我们的一些预训练模型中。它能够很快地学习你看到的任务。我认为这很大程度上归功于，即使在硬件准备好之前，我们已经致力于在人类上进行预训练，因为我们知道在某个时候我们的机器人会像人类一样。你可以在硬件准备的同时在训练方面取得领先。我认为现在我们看到迁移实际上存在，并且实际上非常有用。
评估新技能和从现实世界反馈中学习
Vibhu [00:29:35]： 谈谈这方面的评估。所以你可以有预测，你可以让它做事情，我们时不时看到它错过一些东西。你也在非常小众的事情上测试。就像装药瓶。这个过程需要多长时间？你如何思考实际部署新任务、评估它、迭代的方面？那是什么样子的？
Jason Ma [00:29:56]： 是的，所以如果我们想学习一个新任务，我们基本上做一点机器人数据收集。然后模型，这些——Swyx [00:30:04]： 一点是多少？
Jason Ma [00:30:05]： 是的，像几个小时。是的，我们——在一些任务中，就像几十分钟，对吧？是的。然后——Swyx [00:30:11]： 切菜那个是45分钟。
Vibhu [00:30:13]： 打开冰箱是在——Swyx [00:30:14]： 那是一个面试——那就像你一个工程师的入职任务。
Jason Ma [00:30:18]： 所以，。
Vibhu [00:30:20]： 如果你想在这里工作，有趣的事情，你知道。找到任务，让机器人做。
Jason Ma [00:30:24]： 向我提出一个新任务，我会来办公室，收集一些数据，训练一个模型，看看会发生什么。
Vibhu [00:30:29]： 系鞋带。
Jason Ma [00:30:31]： 真的，是系鞋带。是的，那会很酷。但是是的。所以，你知道。收集一点，少量数据，训练一个模型，然后我们就在现实世界中部署模型。然后我们看性能，然后——Vibhu [00:30:41]： 填补收集意味着你——你有一个实际的人在操作——Jason Ma [00:30:46]： 操作。
Vibhu [00:30:48]： 做任务一会儿。然后你训练？它做得还行，你改进。你怎么衡量？
Jason Ma [00:30:56]： 所以当你训练模型时，有一些特定的指标可以看，对吧？就像训练模型一样，它会很好地收敛。现在，对于今天的机器人技术来说，之后我们只是在真实世界中运行模型，对吧，在收集数据的同一设置上看看模型表现如何。有时模型开箱即用就很好，对吧？你真的不需要做太多。但当模型可能达到百分之七十、八十的时候，你就能看到模型的行为。你找出它不擅长的地方。然后你可以收集更多数据，然后迭代，对吧？我认为这是机器人版的从人类反馈中进行强化学习，对吧？机器人展开行动。你可以给它打分，好、坏、S- 有点好。然后这些数据，机器人自己的经验可以用来训练模型。你也可以自己收集更多数据来训练模型，对吧？最终，我们的目标是，这个机器人将成为我们的平台。任何人都应该能够在它上面训练任务。
长时程任务与通用机器人技术的瓶颈
Vibhu [00:31:59]： 我想对它的发展方向做一个预测和时间线。现在，任务还有些简单，比如——把洗衣拿出来。是条毛巾。你不能压皱它。切一些食物。还有像，好吧，设置这个拍摄工作室，对吧？移动东西，搬来桌子，设置灯光。我认为——Swyx [00:32:21]： 管理我的数据中心。还有，给另一个机器人充电。
Vibhu [00:32:29]： 我们什么时候能看到工厂，或者我们需要扩大什么？是模型吗？是一切吗？看起来你的硬件已经为此准备好了，但我们什么时候能看到它发展到这样一个点，我可以从只是切一个东西变成，“好吧，这里有一个食谱。”
Jason Ma [00:32:49]： 我想说，要达到真正通用的机器人，就像基本上一个机器人或一个模型能做任何事情，就像——Vibhu [00:32:58]： 不是那个。就像，好吧，所以在技术层面上保持一定的接地气，就像——我们什么时候开始看到我们推动那个反馈，对吧？所以——Jason Ma [00:33:06]： 我明白了。
Vibhu [00:33:06]： 而不是非常简单的切割——也许是一个五到十分钟的序列，对吧？现在评估步骤可以在更多点中断。而不是只装一个药瓶——十个不同的药片都在一个序列中，对吧？是什么限制了我们？我们在推动什么？
Jason Ma [00:33:20]： 是的，我想。是的，我想有几件事。一是你看到的洗衣演示，是的，完成整个循环需要一个小时，对吧？所以机器人能完成一项完整工作的最长时间已经在小时范围内了。对吧？但要对任何任务都能做到这一点，我认为瓶颈又回到了数据和硬件，对吧？所以对于一些任务，例如，设置空间，你可能需要不止一个平行夹爪，对吧？你可能需要更灵巧的东西，像一只手，像人类的手，对吧？但如果你想在手上训练模型，那么你就受限于硬件的稳定性。就像，手——今天，最好的手，灵巧的手仍然不够耐用。它们很快过热，对吧？所以这成了一个瓶颈，对吧？就像，你——我们——你简直必须放一个冰袋——Swyx [00:34:15]： 冰。来冷却。
Jason Ma [00:34:16]： 人类。
Vibhu [00:34:16]： 我们不仅仅是在自动研究，制造更好的模型。我们有硬件限制。
Jason Ma [00:34:20]： 是的，所以硬件限制是个大问题。但如果硬件受限，那会拖慢一切，对吧？因为要知道你在任何任务上是否取得进展，最终你必须在硬件上进行评估，对吧？所以如果评估不能非常自发、非常快速，那也会限制你的研究进展，对吧？因为那样我们怎么收集正确的数据呢，对吧？我认为，我们如何收集正确的数据来完成极其复杂的任务，比如搭建这个工作室，对吧？因为你可以想象，就像今天，大多数数据都是基于视觉的，对吧？就像视频流和一些手部运动的编码，以及机器人的关节。但人类有更多的传感器。我们听到东西。我们感觉到东西。
Swyx [00:35:05]： 闻到。
Jason Ma [00:35:06]： 是的，你闻到东西，对吧？所以我们潜意识地利用所有这些来帮助我们在操作物理世界方面如此出色。但今天如果我们完全没有捕捉到这些，那么即使我们扩展到数百万小时，你可能只是错过了任务的关键维度，所以你永远无法解决这个任务，对吧？所以我认为这些就是我认为拖慢时间线的东西。但对于你今天可以高保真地收集数据的任务或工作流程，我并不——我并不一定认为存在根本性的瓶颈，对吧？就像我们本周向公众展示的那样。我们有一个物理代理可以完成整个洗衣工作流程，就像人类一样，对吧？因为对于那个任务，我们并不真的需要，哦，你实际上需要超过平行爪夹持器。你实际上需要一些今天还没有的传感模式，对吧？所以我确实认为，要拥有更通用的东西，最大的瓶颈仍然是硬件和数据。
现实世界部署：Best Western 和鼎泰丰
Swyx [00:36:06]： 我想借此机会谈谈——让你夸夸你的客户和合作伙伴。你有一些已宣布的关系。我们可以从 Best Western 开始，然后也许是你引以为豪的其他一些。很酷的故事，之类的。
Jason Ma [00:36:20]： 所以我们有一个部署博客文章，在我们的网站上，有更详细的介绍。我真的推荐观看视频，因为我认为视频是-Swyx [00:36:29]： 哪一个？Best Western 的那个？
Jason Ma [00:36:30]： 不，我们有一个视频涵盖了我们正在合作的所有客户。这是一个非常好的视频。它展示了我们在做什么。是的，我认为它很棒。但是的，我们有客户，Best Western。那是在酒店领域。我们为他们折叠很多洗衣毛巾。每个酒店都需要它，每个健身房都需要它，每个健身中心都需要它。-Swyx [00:36:51]： 到目前为止的部署情况如何？怎么——比如，我可以去哪里——我去哪个 Best Western 能看到它？
Jason Ma [00:36:56]： 所以如果你想去某个地方，我实际上推荐去我们的另一个部署，鼎泰丰。你们去过吗-Vibhu [00:37:04]： 非常薄的皮。
Swyx [00:37:05]： 我们应该在那里拍摄。
Jason Ma [00:37:09]： 刚在那里拍摄。
Vibhu [00:37:10]： 花絮。
Jason Ma [00:37:11]： 但如果你去鼎泰丰或其他稍微高档的餐厅，桌上会有餐巾纸，对吧？所以如今我们的机器人每天为许多不同地点、许多不同的美国鼎泰丰门店折叠数千张餐巾纸。这实际上是我们规模最大的客户，对吧？所以我想在这里做一个区分。如今，有很多机器人公司在谈论部署、谈论试点。但真正困难的不是把你的机器人放在一个地点或做一个试点。真正困难的是让客户相信或验证你的机器人创造了足够的价值，以至于他们愿意在多个门店部署你的机器人。这就是我们在鼎泰丰身上发生的情况，据我所知，其他做类似通用机器人的公司还没有真正实现这一点。所以在鼎泰丰，我们的机器人每天折叠数千张餐巾纸。它的质量标准极高，因为他们希望，比如，第二次折叠或餐巾纸的接缝只比——我甚至不知道你们怎么称呼它——那个口袋低几厘米，这样你就可以把筷子插进去。所以这实际上是一个非常精细、高精度的任务。我可以展示给你看。
Vibhu [00:38:26]： 在某种程度上，这正是机器人擅长的事情，对吧？人类不是最一致的——尤其是在小细节上，而机器人可以在某种程度上完美地做到。有趣的是，你举这个例子来说明通用机器人，而在某种程度上，我认为人们会假设——你可以有一个专用机器人，它能完美地折叠餐巾纸，精确到毫米，而不是像这样的东西，但是。
Jason Ma [00:38:53]： 是的，我确定，也许你可以，对吧？但操作可变形物体的难点在于，对吧，比如餐巾纸、毛巾，一切都是——可变的。有无限——无限多种可能的构型。所以这对专用机器人来说真的很难，对吧？我们发现，通过在机器人中开发通用模型并将其适配到这些用例，你实际上可以更快地达到生产质量。真正好的一点是，既然鼎泰丰已经扩大了规模，与我们签订了更大的合同，他们不仅希望我们的机器人折叠餐巾纸。现在他们希望我们的机器人切割。这就是为什么我们有——例子，把食物切割到——Swyx [00:39:31]： 那实际上是第二个用例吗？
Jason Ma [00:39:33]： 那是他们正在考虑的用例之一。鼎泰丰每天需要切很多蔬菜。
Swyx [00:39:38]： 他们需要做饺子。
Jason Ma [00:39:39]： 没错。到折叠。那是最终boss。那是——Vibhu [00:39:41]： 那是最后一个。
Swyx [00:39:43]： 我认为你可以。我认为你有灵巧性和精度来做到这一点。
Vibhu [00:39:46]： 你有一个小机器人。
Swyx [00:39:47]： 但是不，不要弄破饺子。
Vibhu [00:39:50]： 那明显的好处是你可以让它们适应更多。
通用机器人技术、速度与规模化下的一致性
Vibhu [00:39:54]： 我认为你真正触及的另一件事是速度，对吧？要制作具有精确层数的定制餐巾纸折叠，无论什么——你必须制造机器。你不能只是在亚马逊上买这个。但这个可以做得相当快，对吧？
Jason Ma [00:40:07]： 是的，这可以做到——非常快。而且现在它实际上已经——它已经达到人类水平了。而且这个机器人不会累，不需要，你知道。你可以。我觉得我真的很喜欢你提到的一致性，对吧？比如，鼎泰丰的一个问题是，他们在洛杉矶的门店、纽约的门店、西雅图的门店，折餐巾的方式略有不同，但从他们的角度来看，他们想要一致性。但这正是这些模型擅长的地方，因为模型就是，它就是一组权重。你可以直接把权重放到不同机器人里，跨不同——Vibhu [00:40:43]： 你也可以对它们进行 OTA 更新。
Jason Ma [00:40:45]： 是的，你可以一次性更新所有机器人。它就是。一旦它奏效，我觉得那真的，就像——不可思议。
Vibhu [00:40:52]： 最终 boss 是芝士蛋糕工厂。如果那里的故事是，他们从零开始。一切都非常一致，精确到克。每一种酱汁都是做出来的。比如，无论你去世界上的哪里，你都会吃到完全一样的东西。如果你不知道，你就是不知道。但那就是，那就是最终形态。
机器人学的苦涩教训：扩展正确的数据
Swyx [00:41:07]： 我想到的词有点像机器人学的苦涩教训，对吧？你，不是去做专用机器人，那涉及大量工业工程，而是构建一个通用平台，它可以——做最后一公里的微调，并且——Vibhu [00:41:18]： 没错。
Swyx [00:41:19]： 然后做所有这些事情。
Vibhu [00:41:20]： 在你的之外提供专家附加组件。什么是更苦涩的机器人学教训？
Jason Ma [00:41:25]： 是的，我认为机器人学有几个苦涩教训。一个是，机器人学将会像机器学习已经解决的其他任何领域一样实现规模化，对吧？那么这意味着什么？这意味着拥有尽可能多的数据。但在机器人学中，有一件事要难得多，那就是什么才是正确的数据，比其他领域难判断得多，对吧？语言就是文本。在电子游戏里，就是电子游戏数据。但对于机器人学，你选择什么传感器决定了你拥有什么类型的数据，对吧？但如果你有正确的传感器组合，并且只是扩展这些数据，我认为你会得到可预测的模型性能回报。所以从这个意义上说，机器人学并没有那么不同。所以这就是苦涩教训。作为它的一个推论，机器人学里有很多研究提出了非常具体的先验。比如，我们需要让机器人按物体本来的样子看见它们，画一些框。那会给机器人更好的感知，对吧？但我认为这里的苦涩教训是，让算法保持更简单，并扩展正确类型的数据。然后泛化、更好的行为就会涌现出来。所以这并没有那么不同。然后是第二点。我认为那是主要的苦涩教训，也就是归根结底，规模化会奏效，但在机器人学中，如何扩展以及怎样扩展要难得多，因为不存在互联网。你必须想出你的硬件，想出你的传感器，把所有这些都做对，然后再扩展。然后我认为，。
人形机器人、实践迭代与通往通用性的道路
Vibhu [00:42:53]： 有一种论点认为，这个世界是为人而造的。它就应该是一个人，对吧？无论硬件问题有多难，想想十年、二十年、一百年、两百年后，我们能造出一个真正高效的人吗？但你必须对现在拥有的东西保持务实，对吧？
Jason Ma [00:43:12]： 所以我的思考方式是，是的，最终机器人应该如此。如果我们想要构建一个通用机器人，对吧，就像一台能够适应尽可能多使用场景的机器，我认为人形形态将是最好的，因为这就是我们一直以来所做的，对吧？但我认为实际构建人形机器人的最佳方式是采取迭代的方法。因为机器人技术太难了，整个问题，整个技术栈太长了，很难先验地知道什么是正确的决策，对吧？而且因为硬件决策要昂贵得多，成本高得多，只是因为硬件迭代慢得多，你实际上想要采取渐进的迭代方法，而不是一路走到最终形态。因为很可能你构建的东西实际上并不持久。它不够好。所以你最终还是会把它废弃，你知道的。就像，公开新闻中Optimus已经经历了许多迭代，他们不得不废弃他们的设计，对吧？我认为通过使用半人形形态进行迭代，并真正将它们交给真实客户或让模型真正部署，你就能获得反馈循环，而如果你只是试图构建像仓库人形机器人，并花费五到十年时间构建它，你就不会得到这种反馈。我认为迭代方法实际上会让我们更快地接近最终机器人。
Vibhu [00:44:33]： 我要说，对于那些在听而不是在看的人，这可能是我们见过的最平滑的机器人。就像——
连续动作空间与上下文的重要性
Vibhu [00:44:38]： ……你见过的每个人形机器人都很僵硬，甚至人类走路都没有这个东西平滑。
Swyx [00:44:43]： 因为，是的，模型是。可以同时移动每一个电机。
Vibhu [00:44:48]： 在两个以上的队列中，是的。
Jason Ma [00:44:50]： 是的，这实际上是一个非常困难的问题，因为如果你只考虑模型，它输出动作。有动作维度，对吧？维度越大，模型拟合数据就越难。但在这里，动作空间相当大，但我们做得非常好，确保模型拟合良好，并给你一个平滑的——Swyx [00:45:10]： 你能界定动作空间的数量级吗，还是说——Jason Ma [00:45:14]： 是的，所以它大约在一百个动作维度的量级。
Swyx [00:45:19]： 是的，这些都是连续——连续的，对吧？
Jason Ma [00:45:21]： 连续的，对。所以模型基本上是以非常高的频率预测，比如几十，至少五十维向量，比如每秒十到二十次，以获得那种连续运动。
Swyx [00:45:34]： 并且可能预测未来一到两秒，所以那是另外一百帧之类的。
Jason Ma [00:45:39]： 当然。
Vibhu [00:45:40]： 有一点历史，类似于先前状态的上下文，我猜。
Jason Ma [00:45:45]： 所以上下文在机器人技术中非常重要，对吧？因为否则，如果你只是基于当前观察做出决策，有时真的很难判断下一步该做什么，对吧？例如，如果你考虑打开微波炉，比如在中间部分，不清楚你是在——Vibhu [00:46:01]： 关闭
Jason Ma [00:46:01]： ……关闭还是试图打开它，对吧？所以上下文也非常重要。
Swyx [00:46:05]： 我有一张冰箱演示的截图，里面有智能体规划、工具调用等等这些东西。所以我们可以给听众展示一下。
Vibhu [00:46:13]： 我觉得那是个挺有意思的侧面。在模型之后——
智能体外壳与规划物理工作流
Vibhu [00:46:16]： ……你怎么把它包装成智能体外壳？就是，什么是——Swyx [00:46:22]： Claude Code
Vibhu [00:46:22]： ……Claude Code 部署？Claude Code UI。你有很多很酷的 UI，但把模型输出包装成最终成品需要什么？这是每个用例定制的吗？还是你们有自己的 SDK？
Jason Ma [00:46:37]： 所以，最终我们会有自己的 SDK，但我们的思路是，我们想要一个面向机器人基础模型的通用外壳层。今天，那就是我们自己的模型，对吧？我的想法是，对于物理世界中任何真实的任务、长任务，你都必须做很多高层的决策，对吧？这不像机器人只是在动作、连续轨迹中推理物理世界，对吧？因为那是非常低层的东西，是你在物理世界中实际执行的东西，但那不是意图。但就像如果。当我们做决策时，我们会想一个食谱的步骤。我们会想，哦我完成了这个，我需要做那个。在我等这部分完成的时候，我需要去别的地方做别的事。有很多高层的认知、决策在发生。我认为机器人要处理哪怕是我们给你展示的洗衣任务，都必须具备这种能力。因为，它需要推理出，好，洗衣机在运转，所以我应该在洗衣机完成的时候去做别的事。但现在洗衣机完成了，我应该，我应该立刻把毛巾从洗衣机里拿出来放进烘干机，对吧？因为如果不这样，那就会成为整个工作流中的瓶颈，对吧？所以机器人需要做很多推理。我认为理论上，你可以试着用一个输出动作的低层模型来学习这个，但会极其低效。所以这就是为什么拥有一个分层系统，比如在我们的世界动作模型周围放一个外壳、一个智能体系统，才能让模型组合不同的能力、不同的技能来解决一个长得多的时间跨度的任务。这非常像语言模型，对吧？就像两三年前，模型只擅长自动补全。就像，人类必须敲一下才能让模型继续吐出代码。但今天，一个智能体系统就能承担端到端的任务。而那。我，我认为这很重要，因为我认为今天在机器人领域，人们还在任务层面思考自主性，比如一分钟、三十秒的任务。但真正的价值在于那些无人监督持续数小时的任务或工作流。而这正是我们正在构建的方向。这就是为什么我认为要思考。机器人问题，不只是当作一个建模问题，而是当作一个系统问题，你需要好的智能体、好的外壳工程师、好的模型、好的硬件，一切。这就像我们认为通用机器人应该如何被解决一样。
编程智能体如何加速机器人研究
Vibhu [00:49:07]： 你们觉得语言模型编码工具变得越来越好，能从中获益吗？比如新的 Opus 5.5、新的 Astra。你们的智能体框架里有语言模型吗？语言模型领域正在发展的 AGI 对你们有什么影响？
Jason Ma [00:49:24]： 不。是的，不，绝对有影响。它从很多方面深刻地影响着我们。其中之一是我们是一家极度 AI 原生的公司，对吧？比如编码智能体，所有这些都是我们工作中非常基础的部分，我们非常欢迎这一点。每当有新模型出来，我们都是第一个去测试的，对吧？比如我们——比如 GPT-6 出来的时候，我们同一周就办了一场全公司范围的黑客松，我们的工程师做出来的东西令人难以置信。而且其中很多——我们构建的很多功能已经进入主干、进入生产环境了，对吧？所以我们真的很喜欢用编码智能体来加速我们的工作。
Swyx [00:50:00]： 就为感兴趣的人问一句，你在 GPT-6 里发现了什么令人惊讶的东西吗？
Jason Ma [00:50:05]： ……是它构建虚拟环境的能力，对吧？转成传播。我们二十分钟前聊过这个。我觉得那真的很令人兴奋。
Vibhu [00:50:17]： 有意思。有那么多 CAD、Zillow 到类 3D 的东西。
Swyx [00:50:21]： 他在黑客松上输给了那个 CAD，——Vibhu [00:50:24]： 是我赢了。我做的那个 CAD 玩意儿。反过来了。
Swyx [00:50:27]： 不。哦。
Vibhu [00:50:28]： 那是。我赢了一场 GPT 黑客松，纯粹为了好玩。我当时想，“我对 CAD 一无所知。” 不妨玩玩，因为每个演示都在做这个。我想，“这肯定很垃圾。” 然后我想，“嗯，还挺扎实的，还挺不错的。” 但也就是黑客松的东西。
部署里程碑与相互竞争的机器人策略
Vibhu [00:50:45]：。
Swyx [00:50:45]： 酷。我——我本来打算收个尾，讲一些用例，然后聊一点公司文化和你个人的背景。
Vibhu [00:50:52]： 我有两个技术问题。一个是，你有没有想给自己设定的目标，比如六个月、一年、两年的时间线，你觉得机器人应该能做到什么，填空，你正在朝那个方向努力？
Jason Ma [00:51:09]： 是的，在六个月到一年的时间框架内，我们的目标肯定是扩大我们的机器人和模型规模，真正让它们部署——Vibhu [00:51:18]： 比如某个任务。
Jason Ma [00:51:18]： ……完全不同。
Vibhu [00:51:19]： 比如现在就是切东西或者开冰箱。有没有。比如，你会不会给自己设定，到这个时间线，为了不掉队，我们应该能做到随便什么？
Jason Ma [00:51:29]： 我觉得，就部署而言，我们在探索很多不同的行业。并没有某个特定的任务是我们认为必须拿下的，对吧？因为我们的目标是构建一个通用模型、一个通用平台，我们把每一个不同的任务都看作对我们平台的验证，看作一种切入点，让我们弄清楚如何把一切做得更好。所以今天，我们在洗衣、餐厅领域做了很多这方面的工作。我们已经部署了数十台机器人，但我们明年的目标是总共部署数百台机器人。
Vibhu [00:52:02]： 我在最后一个技术问题上的第二部分是，你如何看待行业中的其他参与者？所以给大家补充一下背景，其他人在世界模型上采取了哪些不同的方法？为什么它们是错的？他们的方法中又有哪些不同但优秀的地方？请谈谈这个领域中机器人世界模型的整体格局，以及你是如何——你是如何走到目前这条路线上的？
Jason Ma [00:52:25]： 不，这是个很好的问题。所以我认为机器人技术是当今最令人兴奋的领域，有太多令人惊叹的公司，我真心尊敬他们。他们一直像我们一样在做前沿工作，这非常令人兴奋。我认为我们今天看到的是，机器人技术仍然有许多不同的方法。比如，我们相信硬件需要自研。我们需要拥有整条链条。我们相信扩展人类数据极其重要。但也有一些公司押注于仅仅扩展机器人的数据，或者扩展某种中间数据采集设备，对吧？所有这些都在进行中，我认为这是不同的方法。我们只能拭目以待。我认为现在说还为时过早，但我们对自己构建事物的方式感觉相当不错，因为作为一家公司，在文化上、使命上，我们在这里不只是为了构建一个模型。我们在这里是为了真正让机器人部署落地。所以我们尽可能多地部署，攻克难题。这样我们就能更早地发现问题。所以我认为这确实帮助我们识别真正的瓶颈，然后解决它们。我认为对于只专注于问题某一部分的人来说，这有点像战争迷雾。你并不能真正看到全貌，你可能在构建技术上极其酷炫的东西，但最终可能并不是人们需要或想要的，对吧？我认为有一整片机器人公司的墓地，我认为它们都拥有非常闪亮、非常酷的机器人，但真正弄清楚人们到底想要什么，其实——说起来容易，“构建人们想要的东西”，每个人都这么说，但真正经营一家机器人公司其实非常难。
世界动作模型 vs. 视觉-语言-动作模型
Vibhu [00:54:07]： 在技术方面，你有你的世界动作模型。这在行业内是标准做法吗？还有人们在采取其他方向吗？
Jason Ma [00:54:15]： 是的，我想说那也不是标准做法。所以我们是在世界模型之上构建世界动作模型。所以有很多公司在构建世界模型。你提到了 Runway。他们也在适应——Vibhu [00:54:26]： 视频世界模型。
Jason Ma [00:54:27]： 也有公司在构建视觉语言动作模型。
Vibhu [00:54:31]： VLA。
Jason Ma [00:54:31]： 所以这就像是把视觉语言模型拿来适配机器人。我觉得有很多不同的实现方式。但我认为归根结底，我们怎么称呼这些模型，远不如我们认为模型在基本原理层面需要具备什么能力来得重要。所以我想稍微解释一下。我认为对于机器人来说，最重要的一点是你得能够预测未来。对吧。就像机器人学，任何物理系统本质上都是关于：基于你当下以及之前所拥有的信息，你下一步该做什么？所以这实际上就是在预测接下来会发生什么。预测机器人动作，就是在预测机器人下一步该做什么。但如果你仔细想想，机器人只是世界的一部分，对吧？机器人影响世界，但世界也影响机器人在那个环境中应该如何行动。所以如果你这样想，那么你能做的最大、最符合基本原理的事情，就是尽可能多地预测这个世界，对吧？这就是为什么我们相信预测未来极其重要。而今天，这一理念的具体实现就是世界动作模型。而 VLA 只预测机器人动作，或者世界的某种更抽象的表示。但每当你预测世界的抽象表示时，你其实是在把自己关于什么值得预测的偏见编码进去。而更大的教训告诉你：让我们去掉人类的偏见。让我们直接采用最原始的表示——摄像头输入——然后直接预测所有这些，对吧？这就是我今天对机器人建模的思考方式。
Swyx [00:56:12]： 那我就稍微追问一下，你基本上是在说你的方法比 VLA 更好，对吧？因为你强调的是预测。我完全认同。我——你已经把我说服了。如果你错了，那最可能的第二——
超越视觉：触觉、音频与红外传感
Swyx [00:56:26]： 别人在做的是什么？
Vibhu [00:56:27]： 有意思的问题。
Jason Ma [00:56:28]： 是的，我之前说的有个前提条件，我觉得那正是我可能出错的地方，对吧？我说你需要尽可能多地预测世界，对吧？但这并没有说明你的传感器是否拥有你预测世界所需的一切信息。我觉得我稍微提到过这一点，对吧？比如，如果你训练一个纯粹基于视频的世界模型，我认为它会是一个非常强大的世界模型，但它可能不够丰富，因为你缺失了世界的关键方面，比如声音，比如触觉，对吧？所以我认为我们可能出错的地方在于：好吧，我拥有最好的基于视觉的世界模型，但明天别人推出了一个视觉加触觉的世界模型，它的数据效率可能高出百倍，仅仅因为视觉是一种信息量很高或者说高度冗余的输入，因为每隔一个像素，它们的变化并不大。你可以在没有完美视觉的情况下理解世界。但触觉，其他模态可能在信息上要密集得多，对吧？所以也许拥有那种预测能力就能让你使用少得多的视觉。这样你就能用少得多的算力、少得多的数据达到同样的性能，对吧？但是——Swyx [00:57:51]： 我觉得你能非常容易地适配。
Jason Ma [00:57:53]： 不，完全正确。
Vibhu [00:57:53]： 还有一个层面是数据量的问题。
Jason Ma [00:57:56]： 对。我之所以提到这一点，是因为我认为，如果视觉-触觉世界模型，或者视觉-触觉-听觉，不管什么世界模型，是最终解决机器人问题的方案，那么我认为机器人公司在这方面会比那些试图转向机器人领域的视频生成公司做得更好。原因是，理解传感实际上非常复杂。比如，我们从公司成立之初就一直在构建这个，所以我们知道瓶颈在哪里。我们知道如何将它们结合起来。但是——如果你只是试图把视频模型适配到机器人动作上，那么如果我们错了，如果视频模型不够用，那么你其实并不具备让触觉很好地运作的专业知识。但我们有。
Swyx [00:58:39]： 这是一个题外话，但我觉得很快。热量似乎非常重要。红外对你来说只是另一种颜色，还是说它是一个……
Jason Ma [00:58:47]： 是的，它可以是另一种——Swyx [00:58:48]： 只是另一种颜色。
Jason Ma [00:58:48]： 它可以是另一种颜色，模型的另一种输入。实际上可以用于烹饪场景。比如，我知道有些公司在用红外来判断食物熟到什么程度。因为从 RGB 摄像头真的很难判断，对吧？
Vibhu [00:59:01]： 我对你最后一点的一个非常天真的反驳是，也许我们不需要理解硬件，Claude Code 或者 Codex 可以直接凭感觉写进去。有很多事情你不需要理解就能做，但当然——Swyx [00:59:15]： 只是它不在分布内。
Jason Ma 的历程：AlphaGo、宾大、NVIDIA、DeepMind 和 Dyna
Swyx [00:59:16]： 所以我想稍微聊一下你的个人故事或背景。我们俩都上过宾大。
Jason Ma [00:59:24]： 我今天才知道。太疯狂了。
Swyx [00:59:26]： 是的。我，我最大的遗憾是我没有加入自动驾驶，那个 Docker 挑战赛。那样的话，我可能早就成为早期的 Waymo 之类的了。你当时在 Grasp。然后你还在 Google 和 NVIDIA 工作过。比如说，学术界、Google 和 NVIDIA 各自的重点有什么不同？这些地方你都待过，对吧？然后这显然让你说“去他的，我要做自己的事”，对吧？你本来可以加入 OpenAI 的机器人实验室。所以，也许——按时间顺序带我们过一遍，同时也说说你从每个地方学到的一件事。
Jason Ma [00:59:58]： 所以按时间顺序来说，也许谈谈我最初是如何进入 AI 领域的是有用的，对吧？所以，小时候，我在日本和中国待过。我从小下围棋，就是 AlphaGo 里的那个围棋。所以当 AlphaGo 出现时，我正读高三，我震惊了，因为我玩这个游戏很多年了。它太复杂了。就像，我想在 AlphaGo 出现之前，人们都说：“好吧，围棋是 AI 永远无法解决的棋类之一。”搜索空间比世界上所有原子的总数还大。你怎么可能在其中搜索解决方案？然后 RL，强化学习就破解了它，对吧？我想那就是我最初进入 AI 的方式。就像，我只是对能够自我改进的模型或系统、智能体非常感兴趣，对吧？所以当我作为博士生来到宾大时，我真的只想研究强化学习。所以我是联合指导的。我的两位导师当时都对 RL 感兴趣。我的一位导师更偏向机器人学。他在伯克利机器人实验室做过博士后。所以我就这样进入了机器人领域。在宾大，我们有 GRASP 实验室，我认为是做机器人最好的地方之一。所以我就这样在博士期间开始了将 RL 用于机器人的研究。然后，是的，我做了一系列研究，思考如何将强化学习与人类数据连接起来，如何以非常严谨的方式进行强化学习理论。然后我去了 NVIDIA。那时 GPT-4 出来了。当时，我们非常感兴趣于仅仅解决一个转笔任务。我不知道为什么。就像，——Swyx [01:01:35]： 这是灵巧——这是灵巧度的极限，对吧？你能解魔方，然后你——Jason Ma [01:01:39]： 当时，我在和，——Swyx [01:01:41]： Jinpeng
Jason Ma [01:01:41]： …UCO 的 Jinpeng，你们可能也认识。就像，我们当时就想，“好吧，咱们试试转笔。”最初的想法是从人类视频中学习，对吧？我们试图观察人类怎么做。但后来我意识到，好吧，今天根本没有一只灵巧手能转铅笔。那么即使从人类学习可行，我又怎么评估算法呢？所以我想，“好吧，我们需要先在仿真中尝试。”然后，当我尝试为带笔的机械手搭建仿真环境时，立刻看到了问题所在。问题在于，如果我要设计这个仿真环境，用于强化学习解决转笔的奖励函数，那是不可能的。比如，我无法想出所有需要的项来让强化学习学到正确行为。然后我就想，“如果一个能写代码的模型能做到呢？”这就成了 Eureka 项目，对吧？基本上，在我看来，我们有了第一个在仿真中递归自我改进的机器人智能体，因为我们真的用它解决了一个之前无人展示过的新任务。这让我看到了使用语言模型、使用编码模型来真正加速机器人技术的潜力。所以后来我去了 Google DeepMind，因为当时，甚至今天，他们拥有 Gemini 这样的前沿模型之一，对吧？所以我研究如何将 Gemini 用于机器人。但最终我意识到，做学术研究虽然很有趣，但心底总有一个问题：“这些真的重要吗？”比如，当你在实验室做这类事情时，你问我，“我们怎么想出这么多有趣好玩的任务？”你基本上是在做自己的评估。你在给自己的作业打分。我想要更真实的东西。我想要能真正被世界上数百万人使用的东西。我觉得 2024 年是我们创办 Dyna 的时候，大概是 2024 年底。那是合适的时机，我们可以把一些技术真正推向现实世界。所以这就是为什么
Jason Ma [01:03:45]： 我和 Lindon Gao、York Yang 一起创办了 Dyna。快进两年，我们搭建了平台、模型。我们的机器人在鼎泰丰。去看看，——Vibhu [01:03:55]： 去吃。
Jason Ma [01:03:56]： 对，去吃。这是一段旅程。但是，仍然让我非常兴奋的是，一些——很多我在创办 Dyna 时暂时放弃的想法，因为要建立一家公司，你必须非常务实。比如，我认为 2024 年仿真还没准备好。但现在有了新的前沿模型以及我们在内部看到的情况，这可能会改变。这非常令人兴奋。
产品导向的研究、实验性评估与公司文化
Swyx [01:04:20]： 那么接下来也谈谈公司文化。你用什么原则来建设公司。显然——你负责科学和研究议程。而且当我们见到工程师时，他们非常投入，拥有很强的自主权。他们很有动力。
Vibhu [01:04:38]： 我想说，看到大家自发做了这么多副项目，真的很有意思。我们看过的一些演示，就是工程师们自己觉得“嗯，这看起来挺好玩，那就做吧”。说到你提到的趣味评测，就在这儿，摄像机后面大概两英尺的地方——Swyx [01:04:55]： 那个不能说。
Vibhu [01:04:57]： ……就是那个——那个评测，就是有几支荧光笔，四支荧光笔被橡皮筋绑在一起，对吧？就是，谁会想到，“对，我们需要测试把橡皮筋绑在荧光笔上”。就是——Swyx [01:05:07]： 有点像裂变风格
Vibhu [01:05:08]： ……好玩的东西。这里的人非常有……创造力。这是个很美好的地方。
Jason Ma [01:05:12]： 是的，我觉得是文化。对，那我们首先聊聊，我们是怎么运营一家公司的，对吧？比如，我们把自己看作一家最终会是研究加产品的公司。有点像 OpenAI，你做前沿研究，但最终它们都会通过 ChatGPT 进入 Codex。我们也是这么想的。我们不是来这里做那种当时觉得有意思的开放式随便什么东西。我们始终是产品驱动的。比如，我们想把我们的机器人、我们的平台部署给一个新客户。那我们必须解决哪些技术问题，对吧？我们必须解决泛化。我们必须解决全身控制。我们必须解决如何快速适应。我们必须解决如何让机器人遵循语言指令。我们必须解决灵巧操作。所以一旦这些问题都非常明确了，那么，我们的工程师非常能干。他们非常聪明。所以他们就会去创建任务的实例。他们创建那些会对这些能力进行压力测试的任务，对吧？比如那个——那个拿饮料的任务，就是我们测试语言遵循的方式，对吧？你只要指定你想要什么。如果模型能遵循意图、遵循指令，它就应该能做到。所以这就是我们的思路。在顶层，我们确定我们必须解决哪些事情。然后我们有很多底层的子项目来实际推动执行、解决它们。然后你招对的人。这里的每个人都对机器人充满热情。他们做这行很久了。他们热爱这件事。我们就营造一种文化，让这一切自然发生。这真的是一个很有趣的工作场所。
团队：硬件、软件、研究与学习
Vibhu [01:06:44]： 公司的技术研究软件和硬件这两块，人员是怎么分配的？
Jason Ma [01:06:51]： 我们最近发展得非常快，所以我没有一个精确的数字。但我想说，在硬件方面，我们大概有百分之三十、百分之四十的人做硬件，因为硬件需要更多的人。然后我们有大约十个人在做模型。然后我们有软件工程师、机器人工程师。我们在业务方面有很多非常有才华的人。创办一家机器人公司最有趣的事情就是你能看到一切。天底下任何可能有用的东西都会有用，对吧？所以你会接触到这么多来自不同背景、都对机器人充满热情的人，获得如此多的见识。我觉得作为一名创始人，这对我来说真的很有启发。因为当我在实验室做研究员或读博士时，我每天都在和研究员交流，那很棒。那真的很好。我现在仍然每天都能这样做，但现在我也能从来自不同行业、不同生活背景的众多人身上学习。比如，我们有些收集数据的人，他们之前没有任何机器人经验。他们之前在零售业工作，做其他一些工作，然后他们来到这里，你知道。他们也在机器人方面变得训练有素，我觉得看到这一点真的很了不起。我觉得自己仍然在学习，你知道。我认为自己在机器人领域一直在学习，我从来没有像现在这样学到这么多。尽管你现在看我，我已经不再是学生了。我在这里经营一家公司，管理很多事情，但我仍然觉得每天的学习量就是这么大。
Dyna 的愿景及其名称的由来
Swyx [01:08:29]： 那么最后收个尾，Dyna 要走向哪里？两年、五年，愿景是什么？
Jason Ma [01:08:37]： 是的，我认为我们的愿景是真正—— 高层次的使命是真正把机器人和智能，对吧，带入物理世界。就像，实际—— 这意味着真正看到我们的机器人部署到数千个客户，甚至更多，数百万台机器人。那就是我们想要达到的目标。
Vibhu [01:08:58]： Dyna 这个名字是从哪来的？Dynamic（动态）？有什么故事吗？
Jason Ma [01:09:03]： 是的，有很多故事。所以是我—— 是我给 Dyna 命名的。当时有很多内部选项。
Vibhu [01:09:09]： 把功劳揽下来吧。
Jason Ma [01:09:11]： ……内部的、不同的选项。但这个名字是怎么来的，有两件事。一是，图灵奖得主 Richard Sutton，他是强化学习的先驱，很多年前写了一篇叫 Dyna 的论文。它基本上讲的是一个能自我改进、具有世界模型的智能体。我觉得即使在我们创办公司时我们还没有做世界模型，但我感觉机器人技术就会这样被解决。而现在我们的技术方向正在向那个方向收敛。所以我觉得那是一个非常巧妙的灵感，也因为我在强化学习领域工作过，我对 Richard 非常尊敬。第二件事则更个人一些。比如，我在日本长大，我出生的那一年，正好有一部动画片。我不知道你们有没有看过《奥特曼》。
Swyx [01:10:00]： 是的，当然。
Jason Ma [01:10:01]： 是的，那一年的奥特曼叫 Dyna。所以，是的，这是一件很微妙、不为人知的事，但我想现在大家都会——Vibhu [01:10:10]： 团队也正在发现这一点。
Swyx [01:10:13]： 但我觉得 Richard 会喜欢的。我不知道你有没有跟他聊过，不过——Jason Ma [01:10:16]： 没有，我在强化学习会议上见过他。
Swyx [01:10:18]： 你就直接说，“嘿，这家公司——”
Jason Ma [01:10:20]： 好，我会邀请他，来——Swyx [01:10:21]： 受你启发。
Vibhu [01:10:22]： 大家都知道 Richard 是为了更好的课程，不过你知道的。
Jason Ma [01:10:24]： 对，也是为了更好的课程。
Swyx [01:10:27]： 好，有什么临别感想或行动号召吗？
结语：部署真实机器人，构建未来
Jason Ma [01:10:31]： 行动号召。是的，我觉得作为一个行业，机器人领域仍然非常以演示为导向。比如，我过去在实验室里做过很多演示，甚至在这里我们也得展示一些演示。但我认为我们需要更多真正以使命为重心的人，不惜一切代价让机器人真正部署，让机器人基础模型真正与硬件整合，并在真实客户现场看到它们。我认为我们在这方面是先行者，我希望在这个领域看到更多。对于正在观看的观众，如果这个使命激励了你，如果解决当今最难的问题是你每天醒来的动力，并且你想做出贡献，我们一直在招聘，是的，期待你的加入。
Swyx [01:11:14]： 湾区？还有其他地方吗？
Jason Ma [01:11:16]： 是的，目前只在湾区。
Swyx [01:11:18]： 湾区。
Jason Ma [01:11:18]： 但随着公司发展，对其他地点永远不要说永不。是的，这就是我想说的，我想在世界上看到更多机器人。
Swyx [01:11:27]： 酷。恭喜一切顺利。两年取得这样的进展真是不可思议。是的。太棒了。
Jason Ma [01:11:34]： 是的，我非常感激。感谢你们来访。希望你们玩得开心。
Swyx [01:11:40]： 我不后悔来现场做这个。我们在演播室做了很多采访，但这次值得。
Jason Ma [01:11:48]： 我觉得对于机器人，必须来现场。
Vibhu [01:11:51]： 对于正在收听的听众，去看视频版。我们有有趣的 B-roll。