机器人驱动制造业已有数十年，但它们始终只能单一用途，只在完美的环境中才能发挥作用。此前打造智能机器的尝试承诺过多、兑现太少，只是时机尚早。如今，现代 AI 范式把机器人的大多数障碍转化为数据问题，并推动机器朝着曾被认为不可能的能力迈进。随着这些模型吸收真实世界的经验，机器人将打磨现有技能、获得新技能、更快地部署，并承接越来越大的劳动份额。
能在任何领域准确完成任何任务的通用机器人，如今已是必然，大规模取代劳动力也近在眼前。不过，这些机器人将分级到来，逐步增加能力，直到所有任务都变得可行。为了给这一进展提供一个风向标，我们推出业内首个“机器人自主等级”（Robotics Levels of Autonomy），把机器人划分为 5 个不同的等级。
每个自主等级由其解锁的能力定义，并且依次建立在前一级之上，从而催生新的应用。为了让这些等级有据可依，我们对当前的部署、用例与经济性、现有挑战以及活跃的进展方向做了数据驱动的分析。这些等级构成了一种任务划分方式，其中进步是累加的——机器人可以只瞄准某一级的任务，同时仍受益于其他等级中发展出的能力。
我们的自主等级围绕商业可行性来划分，而不仅仅是技术上可能做到什么。机器人的自主性与应用天然相连：它只通过往往无法挽回的动作来创造价值。因此，能力取决于可靠性和能力两方面。可靠性一旦得到验证，机器人还必须提供足够的吞吐量，才能证明其成本是合理的。
致谢
为建立这一分类体系，我们与顶尖科学家进行了大量交流，调研了众多公司，走访了业内顶级会议，并深入研究了当代机器人领域的相关研究。
我们由衷感谢几位共同作者的宝贵贡献：业内从业者 Niko Ciminelli、Joe Ryu 和 Robert Ghilduta。我们借鉴了共同作者 Joe Ryu 的框架来充实这一分类。没有外部专家的帮助，这个项目无法完成。
欢迎反馈：如果你想讨论我们这套全新自主等级分类的任何内容，请联系我们。你可以在大多数顶级行业活动上与我们见面，例如 Humanoids Summit SF、CoRL、Humanoids 2025 Seoul 等。
描述自主性
通往完全自主的道路始于精准的单一用途系统。但通用机器人必须从头开始，学会看、规划、交互，并达到极高的精度。一路上，它们的能力、应用和挑战可能差异很大。每个等级都可以通过下面两个维度，即智能体性（Agency）和灵巧性（Dexterity），得到充分的说明：
通过映射智能体性与灵巧性两个维度上的进步，这一框架展示了已经取得的成就、该领域目前所处的位置，以及未来几年可以期待什么。
目前，通用机器人已在 2 级进入早期生产阶段，但在很大程度上仍不为公众所见。在 3 级，通用机器人正处于自动化低技能工作的早期试点阶段，并开始证明自己能够胜任。虽然我们仍处早期，但这一演进的加速速度将超出大多数人的认知。
执行摘要
0 级：脚本化运动 - 机器人完全由预先编程控制，需要静态的环境和任务才能工作。
- 解锁：高精度、高可重复性
- 能力：全天候自动化、高吞吐量
- 部署与用例（2025）：汽车和电子工厂的行业标准
1 级：智能拾取与放置 - 机器人能够识别处于不同位置的物品，并将其拾取用于分拣。
- 解锁：可泛化的感知、可泛化的抓取
- 能力：固定式拾取与放置
- 部署与用例（2025）：已用于包裹物流中心的拾取放置分拣；随着能力和集成的改善，在更多仓储市场的渗透率不断提高
2 级：自主移动 - 机器人能够理解开放世界、进行导航并穿越各种地形。
- 解锁：高层规划、空间推理、稳健的运动能力
- 能力：开放世界导航与穿越
- 部署与用例（2025）：处于巡检和数据采集角色的早期生产阶段，例如建筑工地、油气（oil & gas）炼厂、关键基础设施等
3 级：低技能操作 - 机器人能够执行基础的、非关键的低技能任务。
- 解锁：可泛化的操作
- 能力：高级拾取与放置、移动操作
- 部署与用例（2025）：处于厨房、洗衣房、制造和物流领域的早期试点阶段
4 级：依赖力的任务 - 机器人能够执行需要力和重量感知的精细任务，例如在口袋里找到手机、把螺丝拧在正确的螺纹上等。
- 解锁：研究中
- 能力：精细的、依赖力的任务，细粒度操作
- 部署与用例（2025）：研究中
0 级 - 脚本化运动
要理解机器人领域的转变，我们必须先看清它从何处出发。大多数人想到机器人时，脑海中浮现的是 0 级：数十年来主导工厂的自动化，用于制造汽车、电子产品、飞机等。执行这些任务的机器人拥有惊人的力量、速度和精度，但它们没有任何智能，只能依靠严格的编程和完美的任务/环境运作。由于完全缺乏自主性，它们主要是工业工程与资本支出的丰碑。它们代表着僵化、单一用途的机器人世界，而理解它们的本质，对于看清通用机器人带来的巨大转变至关重要。
现状
部署与考量：被锁起来
在 0 级，机器人无法自主感知环境并作出反应，环境必须为它们精心设计到完美。一切都以机器人的条件为准，其他一切和所有人都必须服从。
这就引出了 0 级部署的核心：“工作单元”（cell）。机器人被关在笼子里，围起来有多方面的原因，并采用专门的设计：
- 保障机器人周围人员的安全。这些机器人可能是专为重载搬运而造的，因此极为强大。然而，由于缺乏计算机视觉和自主性，这些机器人不会对环境中的人做出适应，而是继续执行动作。取而代之的防护措施通常是急停（Estop）按钮、光幕、控制屏障函数，但在复杂的现实世界里，这对人身安全来说可能不够可靠
- 工作单元把机器人隔离起来，以限制外部干扰或扰动，避免它们改变机器人所处的环境、定位或手头任务的任何方面
- 每个工作单元都针对机器人和所在地点量身定制，使手头任务的安装和编程更简单
0 级的这种刚性，把自动化变成了一个工业工程项目。一条新的大型汽车装配线，造价可能高达 1000 万至 6000 万美元，并需要数年时间建成。一位行业代表打趣说，这类项目是有“生日”的，需要数年时间才能完成。改造现有工厂更难，而对于独一无二的系统，集成成本极其昂贵。
集成：机器人本身成本的 4 到 6 倍
由于改造成本差异很大，我们以一个具体场景为例：一家中等规模的汽车工厂，改造为配备全新、独特的白车身（body-in-white）装配线，即装配焊接车架。
通常必须使用同一家系统集成商以及同一品牌的机器人和软件，以确保新系统不会破坏工厂的流程。最终，总集成成本大约是机器人本身的 4 到 6 倍。工作单元的建造与部署、相关系统（如 PLC、输送机/产线轨道、MES 等）的配置，以及安装与测试，加起来是一笔不小的开销。可以先建一个原理验证（Proof of Principle，PoP），例如产线的实物样机来测试系统（大多数情况下应该这样做），但除非系统极为独特（如制药行业），大多数人会选择跳过。我们注意到，对于标准化的汽车解决方案，这一项可能达到机器人资本支出的约 70%。
然而，正是这种巨大的成本和复杂性，使自动化在历史上一直局限于汽车、电子这类大批量、低品种的行业。它是资本雄厚者的工具，往往把大多数中小型工厂挡在任何程度的自动化之外。相比之下，通用机器人的目标是在后续等级中消除这些准入门槛。
影响：效率与黑灯工厂
在 0 级，机器人已经成为少数行业中的普遍配置。汽车工厂通常每家使用 400 至 1000 台工业机器人，有些甚至报告使用多达 1650 台。电子制造业的机器人用量较少，一家工厂约 50 至 200 台。这些机器人可能是负责运输的 AMR、把零件固定安装到电路板上的 SCARA、铣削硬件部件的 CNC 机床，或是负责机床上下料的协作机器人（cobot）。
汽车产线可以在不到两年内回本，此后运营成本降低近 75%。行业代表表示，过了回收期，这些工厂就是在“印钞”。一些工厂的日产量甚至可达 2,000 辆汽车，仓库里的机械臂往往能顶约 10 个人的工作量而不知疲倦。机器人执行 0 级任务的效率，正是亚马逊部署数十万台机器人的原因。例如，50 台机器人可能完成 200 名劳动者的大型装配和操作工作，每个岗位的成本约低 73%。
这一范式的顶点是“黑灯工厂”（Dark Factory），即完全由机器人运转、无需开灯的工厂。FANUC 的一位代表称，日本有一家工厂，他们的机器人每 80 秒造出一台机器人。虽然这是工业自动化的巅峰，但它仍属于 0 级。这些机器人完全是预先编程的，环境/任务被完美地净化和控制，与人类劳动所处的动态、未经工程化的环境毫无相似之处。相反，任务和环境都被精心设计，好让这些机器人完成作业、自我维护、自行更换工具，并提前安排停机时间，以便人类进来修复问题。
当前挑战：刚性问题
0 级的根本困难在于机器人完全缺乏自主性。机器人无法自行诊断或解决问题，这在后续引发了一系列问题：
- 持续监督：人类技术人员必须始终在现场（黑灯工厂除外）。机器人与人的比例可能高达 20:1，在要求严苛的工业场景中降至 12-15:1。大多数时候，人类午休或换班时，机器人也必须停下。一旦这些机器人出故障，停机成本可能极其高昂，例如在汽车行业每小时 200 万美元，在半导体晶圆厂每天 5000 万美元。
- 资本焚毁：编程中的一个小错误、集成不佳，或两个系统未能同步，都可能让一座价值数百万美元的工厂整体瘫痪。工厂于是变成一个工业工程项目，这种风险对较小的公司来说太高，把它们挡在了自动化市场之外
- 缺乏灵活性：亚马逊是工业工程领域的强者，却不得不围绕这些非自主机器人来建设其履约中心。事实上，与其让机器人更具协作性/智能，他们发现改变工人更容易：设计了一种特制的安全背心，当工人靠近时让机器人减速。
展望未来
有前景的进展来源
对 0 级而言，我们认为成本下降是一条重要的前进路径。随着实际工资上涨、工业机器人价格下降，它们变得更具吸引力，这一趋势应该会持续下去。机器人是一种制造品，意味着随着制造工艺改进、产量提高、规模经济发挥作用，机器人的成本效益会越来越高。
这将降低更广阔市场的准入门槛，使执行 0 级任务的机器人得到更广泛的采用，而无需具备工业工程能力或巨额资本支出。
此外，大多数厂商都提供设备监控系统，例如 FANUC 的 Zero Downtime 方案。这些系统使机器人能够提前预测故障，减少对持续监督的需求，并增强黑灯工厂的潜力。它们虽然作用显著，但相当新，且在不断自我改进。
最后，通过更“统一”的工业软件，这些机器人的集成可能会得到简化。系统集成商不必只部署单一品牌的机器人，而可以即插即用多个品牌/配置，更快、更便宜地构建不那么挑剔的自动化系统。
虽然这些改进会提升脚本化运动系统，但挑战在于它们被完美化的应用场景。这些机器人只能在静态、经过工程化的世界中运作，而真正取代劳动力需要适应性和自主性。正如 1 级将要强调的，感知变化的任务并做出适应，并不像听起来那么简单。
1 级：智能拾取与放置
在 1 级，机器人终于能“看”了。2015 年前后，我们看到智能首次注入机器人领域，催生了一个新的自主等级，并在 2018 年前后尝试商业化。在这一级，我们将聚焦 2015 至 2022 年这一基础模型（foundation model）出现之前的时期。
机器人最初脱离 0 级的静态任务，是在转向“拾取与放置”（pick and place）时，即从区域 A 拾取物品并放到区域 B。拾取与放置处于一个不完美的领域，物体、摆放方式和光照都可能变化。机器人必须泛化其感知来确定物体及其位姿，并相应调整抓取方式——这对 0 级机器人来说是不可能的任务。大规模数据集，以及规模较小但至关重要的抓取数据集，通过解锁灵巧性的一个部分，即泛化（尤其是在感知方面），推动了这次进入 1 级自主性的尝试。有了足够的数据，机器人就能识别物体（有时是前所未见的物体）的各种位姿，并调整抓取角度进行拾取。
商业化尝试集中在仓储和物流的“拾取与放置”岗位，把机器人安放在分拣线旁，通过把物体从料箱 A 拾取并放入料箱 B 来整理非易损物品。然而，这第一代智能机器人的尝试受制于数据不足、AI 模型尚不成熟、吞吐量要求苛刻和成本高昂，这些都导致投资回报率（ROI）无法得到验证。2015 至 2022 年间，少数公司建起了“机械臂农场”（arm farm），用数月时间反复抓取，以积累足够的训练数据。拾取成功率最终升至 99%，但要跨过“最后一毫米”达到 99.99% 几乎同样困难，而且即便如此，有时也不足以证明 ROI。1 级迈出了英勇的第一步，并持续显示出随时间线性提升的趋势，但这最终也凸显了机器人自主性仍有多少挑战尚待解决。
如今，一些公司继续享受线性提升带来的好处，AI 模型和部署方案的进步也为瞄准 1 级拾取与放置的机器人创造了新的可行性。这些机器人目前正在解决其余的挑战，以变得比最初的尝试更强大。
回顾过去：2015-2022
适应新事物
拾取与放置对人类来说很简单，但其非静态的特性对机器人而言是巨大的障碍。物品（有时是全新的物品）可能杂乱堆放、相互遮挡，或以新的方式呈现。这些变量，加上阴影、反光或透明物体等挑战，都可能让机器人早期的感知系统出错。它们可能误认物品、误判其位置和形状，最终导致抓取彻底失败。这是超出 0 级的混乱程度。缺少的是什么？
- 问题 1：看见与理解 - 在 1 级之前，机器人上的摄像头主要用于验证某个动作和任务是否已完成。然而，要从杂乱的料箱中自主拾取物体，需要可泛化的感知，也就是能够适应新场景的感知。在 1 级的拾取与放置中，这意味着识别物品、将其从杂物中分辨出来，并估计其形状和位姿。这样的广泛视觉推理可以来自今天的视觉-语言模型（Vision-Language Models，VLM），但 2015-2022 年间主要使用的是神经网络，它们需要大量带标注的、针对特定应用的图像数据集，而这类数据集在机器人应用领域并不真正存在。
- 问题 2：学会抓取 - 识别出物品后，机器人需要抓取它，同时不能把相邻的物品也一并拿起。这要求抓取能力每次都能泛化到新情形，而学会这一点需要海量的试错数据。2015-2022 年间，开源社区和众包数据不像今天这么庞大，所以数据采集来自真实世界中昂贵的机器人反复进行缓慢的抓取尝试。仿真器可以让机器人在虚拟环境中行动并采集数据，但当时还不够稳健，无法取代物理数据。它们受困于所谓的“sim2real”鸿沟，即仿真中的物理、环境和动作与现实不一致。这一时期的 sim2real 鸿沟要困难得多，而且至今仍未解决。
初现曙光
这两个问题的解决方案最初的迹象来自计算机视觉领域，使可泛化的感知成为可能。大规模 ImageNet 数据集的创建（2009）和 AlexNet 等神经网络的成功（2012）展示了计算机视觉的潜力。这随后催生了许多新项目：YOLOv1（2015）实现了实时的物体与边界框检测，用于定位物体；Mask R-CNN（2017）随后用“掩码”实现形状估计，把物体从其余部分中分割出来；最后是 PoseCNN（2018），它仅用一台立体相机，就通过物体的 6D 位姿估计把这些串联了起来。有了这些成果，模型第一次具备了早期的可泛化感知，能够在多种情境中理解多个物体。
尽管感知终于可以泛化，但它依然脆弱。系统仍然很容易被新颖物体、反光或透明物体、阴影，或过于杂乱的场景搞糊涂。不过，在 2015-2022 年这个时期，许多人把这些进展视为支持机器人感知的机会；也许机器人现在可以泛化其感知，识别出物体及其位姿以便拾取。
感知能力的这一突破激励研究人员尝试汇集机器人抓取数据集，其中一些研究，例如 Pinto & Gupta (2015)，表明 700 小时的机器人抓取尝试使其机器人达到了 80% 的抓取准确率。
虽然这种“自适应抓取”对机器人技术意义重大，但 80% 达不到大多数商业应用的门槛。由于缺乏自主性，机器人通常无法自行解决每一次失败的拾取，40% 的情况下需要人工干预。因为这些往往是不安全的工业机械臂，人必须暂停整条仓库产线，解决问题后再恢复流程，导致平均恢复时间（Mean Time to Recovery）约为 6 分钟。
在扩大数据规模显示出对机器人学习的前景之后，更多项目陆续出现，例如 Levine et al. (2016) 发布了约 3000 小时的抓取数据，并在微调后实现了 94.6% 的抓取预测准确率。然而，大规模数据集主要来自计算机视觉一侧，机器人领域可用的抓取数据要少得多。
即便是在当今机器人数据的繁荣之下，这个领域依然很小，而那个时期的数据则要少得多。
最终，一些公司认定学习抓取的最佳方式是通过机械臂农场自己生成海量数据。他们确实在几个月内收集了庞大的数据集，但 99% 的成功率往往仍然不够。更糟的是，从 99% 跳到 99.99% 是 81 倍的改进，比最初从 1% 到 80% 的提升还要大。有些公司甚至做到了这一步，但这成了一项西西弗斯式的任务，因为每一种新物品和每一次失败的抓取都会让百分比倒退。然而，艰难的集成和低自主性，最终才是令许多公司受困最深的瓶颈，而且至今仍是问题。
部署与考量：狂野西部
在 2015-2022 年间，把这些 AI 机器人集成到经过优化、毫不留情的仓库环境中（那里 98%-99% 的配送都要准时），成了一片估算含糊、方案临时拼凑的“狂野西部”。与 0 级项目不同，这些拾取与放置机器人面临的挑战不仅是物理上的，也是信息上的。
把这些机械臂和工作单元集成到仓库产线中，可能花费 9 万至 18 万美元。但机器人还有一个全新的定制 API，必须与仓库的仓储管理系统（Warehouse Management System，WMS）完成“握手”，而 WMS 负责协调所有库存和物流。机器人的 API 往往在设计时并未考虑 WMS。结果，WMS 不得不更新以弥合这一握手缺口，而一次失败的 WMS 更新可能造成数千万美元的损失。作为变通方案，可能会使用第三方集成商，部署费用高达数十万美元。大多数时候，人们转而用权宜之计来同步这些系统，例如 GUI 自动化智能体，一种只是模拟人去点击正确按钮的程序。
由于机器人需要完整的工作单元安装，集成商选择了理想且成本较低的位置，例如两条水平输送机之间的拾取放置工位。垂直的分拣墙（putwall）等困难位置则被跳过，因为大多数机器人是在水平场景中学习的，而把产线重新配置成水平方向成本高昂。通过筛选合适的位置，安装最多可能只需 4 周。
即便如此，仓库为引入这些机器人所需的决策周期也可能长达数月，有些客户最终选择只在自己隔离的区域安装机器人，远离破坏仓库流程的风险。
尽管如此，这些机器人的自主性依然太低。员工往往并没有被“取代”，而是围绕机器人被重新组织。他们通常负责机器人所在产线的前后处理，或者转而成为机器人技术员。
影响：狭窄的盈利市场
1 级的前景十分可观：自动化低技能、高流动率的拾取与放置岗位——为机器人开辟一个新市场。这项任务的基础性质使它看起来非常适合只会做这件事的机器人：拾取与放置。企业有很大的自动化动力，因为工资中包含大量“附加成本”。例如，我们听说亚马逊的流动率为每周 2%-4%。这意味着每 100 名一线工人，到年底可能有 104 名工人离职。因此，不断招聘、入职、培训并提升效率，使工资成本比没有人员流失时高出 56%。事实上，亚马逊目前面临一场危机：在某些地区，它已经把所有低薪工人都轮换了一遍。
不仅成本巨大，不断招聘新员工的后勤工作也很繁重，许多批次的招聘可能导致大多数人在第一周内就离职。这些挑战和成本使这一岗位适合由 AI 驱动的机器人来充当可行且稳定的劳动力替代。然而，许多人发现，这一商业论证高度取决于任务的具体情况。
以电商履约这类高品种、低吞吐量的任务为例，机器人必须以适中的速度拾取种类繁多的物品。
将累计拾取次数除以累计成本，我们在下面展示了每次拾取的成本如何随时间演变。在电商场景中，机器人每次拾取的成本在 3.5 年内都不会降到低于人类，其有效拾取速率也始终低于人类，需要 11 台机器人才能完成 9 个人的工作。
类似电商的仓库产线给我们的智能拾取与放置机器人提出了一个有趣的挑战：要赶上人类准确拾取多件物品的能力。人类一次可以拾取 5 件物品，而这些机器人很可能一次只拾取一件，达不到人类的吞吐量。而且，即便机器人能拾取得足够快，周边的输送机和前后处理系统也会被锁定在特定速度，或被两端的人类堵塞，再次限制吞吐量。仓库可以通过安装更多机器人来弥补，但成本会高得令人望而却步。更糟的是，物品的“高品种”很可能带来过于新颖而无法成功抓取的物体/场景，因此许多系统必须达到 99% 以上，才能缓解六分钟的停机。总而言之，这套具体条件的组合，使智能拾取与放置机器人的成本难以自圆其说。
不过，1 级引入了一项新的升级：重试。如果任务失败，机器人可以检测到错误并（多次）重试，而 0 级的错误会立刻让整个流程停摆。以“包裹”拾取与放置为例，物品以包裹形式到来——带标签的规整箱子和包装。
包裹的拾取与放置对智能拾取放置机器人有双重好处：包裹可能很重，会让人类疲劳，因而吞吐量基准较低；而且包裹相当规整，所以失败的拾取更容易重试和解决，因为这很可能不是像电商场景中那样的泛化错误。
机器人的目标是每小时 550 次拾取，但在这一领域，即使只有 95% 的准确率，也能达到 520 次的有效拾取速率。
在这种情况下，我们看到 10 台机器人完成了 23 名人类工人的工作。在这些条件下，机器人每次拾取的成本在一年多一点后就降到人工成本以下。
瞄准 1 级拾取与放置的机器人找到了一个细分市场，但仅限于拾取与放置中非常特定的领域。事后回看，很容易理解什么有效、什么无效，但在当时这一切都是全新的。我们问过一些公司，为什么一开始没有瞄准包裹领域，有一个转述的回答很能代表那个时代：我们当时不知道，意识到时已经太晚。这是智能机器人的第一次尝试，虽然包裹市场比电商小，但自主性的出现确实还太早。
挑战：脆弱智能的局限
在 2023 年之前的这段时期，感知很吃力。有些人试图通过在实验室的机械臂农场中复刻其部署现场来绕开脆弱的感知，使用机器人将要拾取的同一份物品目录，甚至在部署时使用特定的静态照明装置。这些防护措施大多只是部分地弥补了缺陷。相反，亚马逊商品目录中有 25% 在“排除清单”上，这是一份因存在失败风险而不让机器人拾取的物品清单。
这一时期的灵巧性仍处于萌芽阶段。如果公司引入了新物品，会先让机器人试运行，如果拾取失败 5 到 10 次，它同样会被放进排除清单。此外，由于缺乏稳健的泛化能力，机器人可能一次拾取多件物品，再次扰乱仓库流程。当时可用的泛化能力就是不够稳健。
其他一些任务看起来相对简单，只是拾取与放置的变体，却可能带来不同的挑战。以叠衬衫为例，这对机器人来说似乎是个容易的任务。实际上，衬衫这类物体是可变形的，而且是“高维”的。机器人的神经网络一开始会把衬衫上的每一道褶皱、折痕、折叠等都编目，以便理解它。这被称为“状态爆炸”问题，对强化学习尤其困难，因为强化学习中模型要判断流程中的步骤是好决策还是坏决策，而此时组合的数量可能多得惊人。在 1 级，叠衣服成了那个时代的“圣杯”。
当下时刻与未来展望
有前景的进展来源
2023 年之前的时期缺陷不断，让许多业内人士伤痕累累。不过，如今瞄准 1 级拾取与放置的公司已经创造出可行的解决方案，弥补了许多挑战并完善了系统。一些公司正在实施端到端方案来解决无法拾取的物品，降低失败率和恢复时间，并缓解排除清单带来的弊端。模块化系统现在可以绕开物理集成，提供高得多的吞吐量，尽管成本更高。自研的操作系统现在能让 WMS 集成更顺畅、更便宜。就连仿真器也进步到足以引导生成基础的包裹拾取与放置数据。
但重要的是，许多机器人正在利用基础模型（Foundation Models）来获得深入、可泛化的感知和空间推理。我们将在 2 级中探讨基础模型能为机器人带来什么。
2 级 - 自主移动
在 2 级，机器人获得通用自主性。它们现在能够规划自己的任务，并自主穿越开放世界。这种能力此前并不可行，较旧的模型会被开放世界中不断变化的场景、地形和物体搞糊涂；僵化的运动方式在这样的混乱中会力不从心。
相反，在 2 级，机器人获得了智能体性（Agency），从基础模型和视觉-语言模型（VLM）的最新进展中获得更高阶的规划和空间推理能力。此外，得益于在仿真中进行的大规模强化学习，机器人现在具备了穿越困难地形的灵巧性。这种运动上的灵巧性使机器人能够在动作中展现敏捷性。这两种方法都利用海量数字数据集进行学习，而不是针对每个场景收集数据，从而缓解了数据稀缺的挑战。在 2 级，机器人自主感知并理解周围环境，规划路径，并凭借稳健的运动能力在长时间跨度上于开放世界中穿行。
2 级的通用机器人目前正以早期生产阶段部署于建筑工地、油气（oil & gas）炼厂和基础设施场所等大型领域，承担数据采集和巡检角色。这些场所往往过于庞大，人类难以有效覆盖，也难以低成本地布设传感器，或者对人类过于危险，或者过于偏远，人工巡检成本太高。相反，配备额外传感器的这些机器人可以利用自主性来规划并执行这些任务。
这些自主机器人是通用化革命的第一个证明。向智能体性的这一飞跃，会在随后的各个等级中产生回响，成为通用机器人的起源。
现状
进入开放世界与智能体性
自主移动的核心挑战是开放世界，一个没有固定结构或可预测性的环境。与 0-1 级所处的工程化环境不同，开放世界是由不断变化的场景、障碍物、地形和天气混杂而成的混乱集合。要在这里运作，机器人必须超越简单的感知和经典的僵化规划，走向场景理解和高阶规划。然而，早期算法还不够稳健，无法胜任这项任务。
我在哪里？——在环境中定位
开放世界并不总是提供一条静态路径，机器人必须确定自己相对于环境的位置，否则就可能迷路。这需要不断更新地图，而更新中的微小位置误差会随时间累积，把几英寸的误差变成几英尺，让机器人陷入困惑。这个误差可能就是一台满电机器人与一台倒在地上的死机之间的区别。高阶玩家或许无需额外措施就能解决，但大多数仍可能使用 AprilTag，这是一种类似二维码的贴纸，用于机器人重新定向和校准，通常放在充电站。它们可以设定固定的、预先编程的路径或行为，用来引导机器人。
- 第一种方案：SLAM - 对此的主要工程解决方案是同步定位与建图（Simultaneous Localization and Mapping，SLAM）。借助 LiDAR、速度、时间等传感器和数据，SLAM 算法让机器人能够构建周围环境的“地图”，同时持续追踪自己在地图中的位置。然而，SLAM 仍然局限于几何表示。开放世界的环境不断变化，需要更“认知层面”的理解来减少这种漂移或误差的可能性。SLAM 单独使用可能不够，而应作为一种补充。
规划、推理与场景理解
机器人也许知道自己的位置，但除非被明确编程，它仍可能不知道该做什么，也不知道周围有什么。要在混乱的环境中导航，机器人需要对其世界有更基础的理解。例如，机器人可能既需要区分黑色水坑和沥青路面，又需要规划下一步行动。感知上的失败可能导致它把水坑误认为不是危险。或者，规划上的失败可能导致机器人在错误的时间躲避水坑。
突破：基础模型
近期的基础模型为机器人补上了缺失的推理与长时程规划能力。通过在互联网规模的文本数据集上训练，机器人不再需要把每种情形都写进代码，或通过昂贵且稀缺的真实世界数据来显式学习；它可以将庞大的知识库泛化到新的情境。这些模型能够把情境转化为可供推理的、逐步的自然语言描述，从而解锁远为广泛的能力。
视觉语言模型（VLM），是基础模型的一种，可以桥接语言与视觉两种模态，实现视觉推理和问题求解。这些基础模型在海量的互联网规模图像、标题和描述数据集上训练，并在机器人专用数据上微调，以获得更好的空间推理能力。如今，机器人可以广泛地泛化感知能力，缓解了此前机器人感知数据匮乏的问题。
所有这些共同构成了机器人新获得的能动性（Agency）：可泛化的规划、推理与感知。机器人现在可以在许多全新的环境中服从并执行指令。例如，对于指令“走到梯子后面的楼梯”，VLM 会识别物体及其相互关系，再将场景转交给基础模型，由其给出“向梯子左侧移动，然后向右朝楼梯走去”的计划。这种“思考”循环赋予机器人在长时间跨度上感知并在开放世界中导航的自主性
敏捷运动 - 灵巧性
这种能动性由运动灵巧性（Dexterity）的提升所补充。与其通过真实部署收集大量可能构型下的数据，或手写堆积如山的控制代码，模拟器如今大幅介入，用以解决运动灵巧性问题。仿真环境现在提供了稳健、广泛的训练平台，可在海量环境配置上快速迭代运动控制策略，这些配置往往比实际部署环境困难得多。
这些模拟器已改进到足够程度，使得所学的大部分运动技能经过充分微调后即可迁移到真实世界部署，显著缩小了“sim2real”差距。如今，机器人可以运用其新的运动灵巧性，稳健而敏捷地穿越不平整地面、斜坡、不稳定地面（岩石、沙地、施工托盘），甚至在电机损坏的情况下仍能移动。有了这些突破，我们看到四足运动在 Level 2 迎来了改进的拐点。
硬件提升
最后，硬件的发展为这些机器人配备了足够的手段，从而使其自主性成为可能。Nvidia Jetson 等机载算力的进步，使机器人能够摄取并处理多得多的数据。多种传感器、摄像头和激光雷达（LiDAR）现在可以共同生成高质量的实时感知数据，使其能迅速适应环境固有的随机性。此外，高效率的执行器和增强的电池使这些机器人能够在开放世界中执行长时程任务。
部署与考量：开放世界中的智能体
Level 2 的机器人可能具有以下外形：
但值得注意的是，四足机器人被解锁了。大规模仿真平台的进步使其四条腿能够稳健控制并以灵巧性穿行，而其能动性可以判断场景并进行规划，这两点在 Level 2 的突破之前都很困难。
重要的是，Level 2 的这些机器人不再需要数百万美元的设施工程改造。它们的通用自主性意味着，只需短短 1-3 周即可在新环境中部署，学习其领域并可靠地执行任务。不过，电池续航决定了一个场地需要多少机器人或充电桩。由于四足机器人的平均电池续航可能约为 90 分钟，人们可能需要购买更多四足机器人或充电站，从而推高成本。
这种自由度在工作场所带来了一个新问题：安全。对于具备自主移动能力的机器人，如果它们摔倒或起火，是没法拔掉电源的。它们面临的挑战更多转向确保不造成财产损失或人身伤害。例如，开放世界的地形可能对机器人周围的人构成危险，比如湿滑的地面导致一台 70 磅重的四足机器人摔到某人的脚上，或从楼梯上滚落撞到人。可能采取的一些措施包括：
- 稳健的避碰——引导机器人避开静态或动态障碍物
- 速度与间距监测——跟踪附近的人类，使其能保持安全距离
- 操作规范，以及用声音或视觉提示向人类同事表明机器人的存在或意图
影响：解锁巡检与数据采集岗位
凭借自主移动能力，可以看到这些机器人在开放世界领域中四处移动、自行决定路径、避开障碍物，并连续数小时穿越各种地形。这些自主机器人通常工作在大型场域，如建筑工地、油气场站、化工厂和园区式环境。关键在于，它们将数据采集和巡检任务自动化，这类任务只需要自主移动能力和一些数据采集工具。这类场所和任务往往具有以下微妙特点：
- 过于庞大，难以由人工有效巡检，或难以低成本地部署传感设备
- 过于关键，不能冒由人工执行不佳的风险
- 过于危险，不宜让人类继续承担
机器人现在又为自己增添了一块劳动力市场。来看几个例子。
建筑业
有时，一个工地一周内完成的工作不到计划的一半，而且由于涉及管道、电气、砌墙等多个方面，各自的进度可能在混乱中丢失。通常约有 40% 的建筑返工源于文档不完善，这可能造成高达账单 20% 的成本。对工地进行完整的巡检或称“采集”本应解决这一问题，但对施工公司而言，这意味着要占用其最资深的总监一整个8 小时工作日，而且缺乏专业性或客观性仍可能影响采集质量。
因此，许多公司会将其外包给外部公司。例如，一个 200 间客房的酒店项目，按州法规可能规模大到必须由土木工程师或持证测量师来执行采集。这类采集可能每隔一周进行一次，费用超过 100 万美元。具备自主移动能力的机器人可以自行完成这些采集，装上合适的摄像头/传感器/激光雷达，获得更客观、更详尽的采集结果。完成后，它还有可能移动到第二个工地，在同一天完成另一项工作，而这是人类团队难以做到的。
油气
一家中型炼油厂可能需要在多年的分阶段实施中投入数百万美元，才能为其机械设备全面装上传感器，用于追踪泄漏、振动和热量。尽管成本和时间周期可观，这项投资却至关重要：一小时的计划外停机损失高达 50 万美元。相比之下，一台装有合适传感器的防爆四足机器人可以巡视多个场站，以很小一部分成本收集更细粒度的数据，例如诊断热力图，并让人类远离危险。
关键基础设施
巡检风力发电机、电力场站和海上钻井平台都是关键工作，但它们对人类极具危险，而且往往需要停机才能让人工巡检进行。例如，一座老旧数据中心可能在大雨时停运，并需要对变电站进行巡检。而我们听说，四足机器人已经能够在不停机的情况下自动完成这项巡检，一年为设施节省估计 35 万美元，并有可能挽救人命。
尽管这些都是很好的例子，但它们仍处于早期生产阶段，目前正被部署到更多场所，如半导体晶圆厂、钢铁厂、轨道交通基础设施，或用于最后一公里配送。
Level 2 当前自主性挑战概览
机器人自主性目前面临诸多困难，它们将影响机器人在每个等级上的表现。以下是这些挑战目前如何影响机器人在 Level 2 中胜任工作，以及可能的变通办法。
能动性带来了新的挑战，这些挑战通常通过足够的微调来缓解，但并未真正解决。为了在社交场景中表现更好，机器人需要更强的社交感知，以弄清人类要它做什么，或者该听从哪个人的偏好。虽然规划能力已被解锁，机器人仍可能误判位置，因此许多机器人依赖激光雷达作为安全检查。
复合误差仍然是一个问题。机器人在导航和定位上仍不够精确。多数机器人可能会改用放置在兴趣点周围的 AprilTag（例如执行另一项任务的特定位置）来确保定位准确。
运动灵巧性仍是一项挑战，需要借助变通方案。在 Level 2 中，这意味着深泥、冰面或透明玻璃等地形目前仍然难以穿越，可能需要额外调校，或干脆避开。
协调众多自由度（机器人可以运动的方式数量）仍然很难。例如，双足运动在 Level 2 中确实存在，但增加更多自由度（DoF）会带来一层复杂性，使稳定性和精确导航变得更加复杂。随着双足行走对各家厂商而言日趋稳定，可能会使用额外的工程手段（如 AprilTag 或专门的策略）来弥补这些问题。
展望未来
有望带来进展的方向
这些自主性挑战正通过多种方式得到改善。对于灵巧性，运动仿真平台可能会持续改进，使地形穿越更加稳健。双足运动应会随着更多数据和进一步学习而改善。
能动性应会通过更多数据和进一步学习而提升。目前正在进行合成数据生成，即在 VLM 中进行视觉数据增强，对数据稍作改动以生成更多样的数据，从而增加学习量。随着 VLM 中视觉推理能力的增强，激光雷达可能开始逐渐从机器人上撤下。随着这种视觉推理和定位能力的改善，我们可能会看到 AprilTag 的使用减少。此外，开放世界部署有助于收集更多边缘案例数据，有望为更好的合成数据奠定基础，并扩大学习规模。随着这些挑战得到解决，我们预计机器人自主性将持续提升、持续部署并不断改进，直至对其目标市场实现高度自动化。
Level 2 标志着通用机器人时代的开端。向能动性的跃升为未来所有进步奠定了认知基础，而下一步是在这种通用自主性之上加入操作能力。
Level 3 - 低技能操作
我们在 Level 0 的自动化中看到，脚本化的自动化与操作在经济上价值不可估量，能以超人的速度制造汽车，但局限于工程化设定的任务。Level 1 展示了突破到智能拾取与放置是什么样子，但这些机器人只适用于非常有限的一组用例。在 Level 2 中，我们看到机器人的能动性对于在开放世界领域中长时间安全作业极具价值。现在到了 Level 3，机器人迎来了一种基础的可泛化操作能力：
- 操作（Manipulation）：有目的地、结合情境地与环境交互并改变其状态的能力，例如推开门、抓住把手、托住箱子边缘等。
机器人也许能很好地感知一个物体，但这并不意味着它具备与之交互所需的技能。在 Level 3 中，机器人现在能理解物体如何提供操作可能性（affordance），并具备灵巧性，可直接泛化出这种操作所需的动作。借助机器人的能动性，这些操作能力可以达到更长的时程，包含多步规划。这两种能力都有别于 Level 1 中短时程的、有角度限制的抓取。将这种可泛化的操作能力与 Level 2 获得的自主移动能力结合起来，我们现在看到通用移动操作开始进入应用。
Level 3 标志着第一代能够瞄准各类行业的通用机器人，从 Level 1 的基础任务迈向烹饪或清洁等技能。早期试点项目正在厨房、洗衣店、工厂和仓库等领域展开。不过，它们的低技能任务（我们称之为“高级拾取与放置”）较为有限，属于较长时程的任务：操作/拾取一个物体，可能移动到别处，再进行进一步操作，即“放置”该物体。虽然有限，这种能力已被用于烹饪、叠衣服以及分拣/整理非易碎物品。Level 3 的部署是即插即用式的，机器人通过人类远程操作（遥操作，即远程控制机器人）以及平板电脑等界面进行学习，而不是花费数月时间和数百万美元的工程投入。
完成 Level 3 任务的通用机器人可以自动化全球劳动力中的一个特定部分，尽管不是人类劳动的全部范围——那是 Level 4 所承诺的。目前，上述 Level 3 的早期试点用例已被证明可行，其任务满足以下条件：
- 宽松的成功标准：任务没有严格的精度约束，例如把物体从 A 箱移到 B 箱、把杯子放到桌上、搅拌一锅食物、把箱子从 A 地移到 B 地等
- 低吞吐量甚至无吞吐量要求，或可异步进行：任务节奏较慢，无需满足吞吐量计算，或可以与其他正在进行的工作异步完成，例如在夜间
- 可重试：与 Level 1 类似，任务需要允许重试，使得一次失败的执行不会损坏财产，尤其在 Level 3 中，不会伤害人
- 没有力和重量感知：这些机器人目前没有触觉，只有关节层面初级的力反馈。它们很可能无法执行精细的、依赖力的操作任务，例如拧开没见过的瓶盖。
当前视角 - 早期阶段
需求 - 可泛化的操作
在一切都不断变化的环境中操作物体，像 Level 1 那样弱智能的抓取能力是不够的。机器人必须能够调整自己的动作，以在给定情境下恰当地操作物体。这需要可泛化的操作，由物理 AI 赋予足够的灵巧性，以生成针对任务和环境的动作来操作物体。
学习操作 - 当下有意义的进展
尽管 Level 3 仍处于非常早期的阶段，我们已经看到 VLM 在可泛化操作方面取得了有意义的成果。目前，VLM 已有所改进，具备更强的空间推理能力，并增加了输出动作（Action）的能力。但要输出动作，我们仍需要让机器人从动作数据中学习。
开源与数据增长
在 Level 1 中，我们看到数据稀缺问题可能有多么棘手。幸运的是，机器人领域的数据量相对而言有了可喜的增长，低成本遥操作硬件（如 GELLO（2023））的发展，使世界各地的用户能够收集并开源他们的机器人动作数据。过去几年已发布了许多数据集，正逐步积累起足以学习基础操作任务的数据。现在，如果我们用这些动作数据训练 VLM，就得到了一种新型模型。
视觉-语言-动作模型
简称 VLA，它通过添加动作模态来扩展视觉语言模型（VLM）。在配对的图像/文本/动作数据上训练（无论是端到端还是通过微调），VLA 意味着 VLM 可以读懂场景、理解任务，并且现在能输出动作计划。这些 VLA 可能有两种形式：
- 任务专用型：由一个 VLM 或经修改的 VLM 负责高层规划，并配有用于特定任务/动作的附加模型
- 单一型：由单个 VLM 模型完成所有推理、规划与动作
模型的能动性理解任务“是什么”并据此规划，而模型现在直接输出动作计划本身，从而立即带来灵巧性的提升。借助其庞大的互联网规模知识，机器人现在能全面解析新的任务与环境，VLA 的动作环节则即时执行针对场景量身定制的、新颖而流畅的动作。
几年前还极其复杂的任务，如今变得可行。Level 1 中的“圣杯”——叠衣服，现在可以实现了，不再需要逐一列举并计算衬衫上的每道褶皱。VLA 从互联网数据中理解“袖子”或“领子”这样的抽象概念，对任务如何执行进行多模态推理，进而规划并输出所需的操作。
现在也可以着手处理更长时程的抽象任务。对这些模型而言，如果无法理解这间特定卧室里什么是“不对劲”的，以及该如何打扫这间卧室，“打扫卧室”这个任务会非常令人困惑。现在，它可以借助 VLA 的高阶规划，分解为一连串基于情境的子任务，如“捡起枕头”或“整理毯子”，全部由模型按时间顺序排好，并生成相应的动作计划。
我们承认，Level 3 的任务并不要求极高的精度，也不需要对力和重量的理解，高精度约束暂且不论。此外，由于模型所学习的遥操作示范数据具有精细、一丝不苟的特点，这些机器人很可能会比较慢。再者，向 VLM 加入操作/动作会大量占用上下文窗口，并缩短我们在 Level 2 中拥有的时间跨度，目前使这些任务只能持续几分钟。
然而，正如 Level 2 中 VLM 的出现形成了持续改进导航的正向学习循环，VLA 也可能为机器人灵巧性带来同样的循环。随着机器人持续在物理世界中行动和推理，它可以不断收集数据、学习并改进。尽管 VLA 前景广阔，但它们也未必是完整的解决方案：精确的底层控制可能会采用任务专用模块/策略，而柔顺控制可用于顺应相反方向的力，此外还有许多其他方法。
这一自主等级以及移动操作机器人的出现，如今提出了向更大规模劳动替代的巨大飞跃。
部署与考量：机器人同事
Level 0 和 1 的机器人可能需要耗资数百万美元的工程项目以及定制的软件集成，例如与仓库管理系统（WMS）的集成。然而，面向 Level 3 的机器人可以更像人类员工一样部署。一些公司把它们放到现场，让遥操作员读取平板电脑，并执行工作流程以收集数据、教会模型。遥操作的工作量会因任务复杂度而异，但遥操作成本很低，通常外包给新兴市场，而且往往有投资人补贴。
这种易于集成的特点从根本上改变了经济账。关键指标不再是针对巨额资本支出的多年投资回报率。相反，这些机器人可以通过机器人即服务（Robot-as-a-Service）模式按小时工资收费，在数天内实现营收为正。这拆除了 Level 0 和 1 此前把大多数中型或更小企业挡在门外的准入壁垒，使这些机器人如今可被更广泛的企业使用。
虽然移动操作已经存在，但还非常早期，仍面临安全问题。它必须到达任务现场并在行动前知道自己的位置，因为任何错位都可能损坏财产或伤人。在这些物理安全挑战得到解决之前，早期部署很可能仍会限制在围栏隔离区内。
双足平台对一些人有吸引力，因为它们能在执行任务时在髋部“弯腰”。然而，双足运动，即用两条腿行走，是一种本质上不稳定的行为。它需要不断转移重心，以确保下一步的准确。携带物体则增加了一个新的质量，运动控制在行走时必须将其考虑在内。最初的双足试点即便可能能用，也可以改用轮式底盘机器人来替代。
在人类周围工作的机器人需要满足严格的安全要求。由于机器人早期的自主性不足，一些安全措施可能仍需实施/落实。遥操作监督——即由遥操作员监控机器人——目前对这些机器人而言是必需的，以防出现问题时需要人类介入。尽管如此，仍可能出现复杂情况，例如在故障发生后才去遥操作机器人、遥操作中的延迟问题等。对于更直接的措施，一些部署可能会采用：
- 势场（Potential Fields）：机器人围绕物体绘制的空间，以及这些物体可能对机器人产生的作用力
- 风险感知建模：评估发生碰撞的概率并据此规划
- 速度与间距监测：正如我们在 Level 2 中所见，跟踪人类并保持安全距离
在涵盖了部署考量之后，目前 Level 3 正在尝试哪些岗位？
影响：低技能劳动的替代
虽然 Level 3 中已存在一种初级形式的可泛化操作，但仍非常早期。目前的机器人试点测试发现，其任务满足我们前面提到的条件：成功标准空间宽松、低吞吐量甚至无吞吐量要求或可异步、可重试，且无需力或重量感知。在固定场景应用中，机器人可以执行一连串操作来完成较长时程的任务。但大多数时候，机器人会利用其移动能力，例如在 A 地拾取一个非易碎物体，移动到 B 地再放置该物体。有了这些新能力，机器人把劳动力中相当大的一部分纳入了自己的“武器库”。
虽然我们当前的条件是各岗位的独特特征，但这些岗位规模可观，成本也相当高。这些机器人获得优势的方式与 Level 1 的目标相同：降低综合成本。例如，旧金山餐厅的年离职率可高达 170%，招聘、入职、培训、缺勤和生产力爬坡带来的成本，要高于单纯的低技能工资。下面是我们目前看到机器人在 Level 3 中尝试的岗位。
- 餐厅或餐饮服务中的烹饪：食材已为机器人预先配好份量，它可以通过基础的连续操作，完成把这些食材一起烹制这种较长时程、要求宽松的任务。餐厅往往是劳动最密集的行业，产生同样 100 万美元收入所需的员工数大约是医院的 3 倍。
- 工业洗衣：操作可变形物体这一曾经不可能的任务，成为一份可行的夜间工作，目前用于折叠毛巾、床单、枕套、餐巾等重复性物品
- 物流：“仅需入库”的工作流，例如对仓库产线进行非关键性补货或设置补货区，二者都没有时间或空间限制。机器人可以在一个位置拾取各种物品，放到另一个位置，例如：给货架补货、轮换周转箱，或在设施内搬运货物或料箱。
- 制造：执行线边转运，并补充装配线及线边库存。例如，零件排序以及整理次日装配所需的物料。
还有其他一些任务可能符合我们对当前 Level 3 任务的标准，但我们没有列出，比如修剪树篱、园林绿化或其他家政工作。尽管其他岗位似乎也满足我们所说的成功标准空间宽松、低吞吐量计算要求甚至没有、可重试且无需力或重量感知，但现在判断会发生什么还为时过早。
幸运的是，如上所列，存在一些细分岗位，只需要低技能的操作能力，并且往往需要自主移动。凭借这些岗位、工人的高综合成本以及极具吸引力的 RaaS 模式工资，Level 3 成为很好的即插即用式劳动力替代。我们预计，随着这些机器人不断改进，它们将自动化越来越多的低技能劳动。然而，在本文发布时，这些机器人仍非常早期，并面临着自身的障碍。
Level 3 当前自主性挑战概览
尽管 Level 3 处于非常早期的阶段，要让机器人可靠运行仍存在一些困难。记忆架构尚不足以泛化过往经验，限制了机器人在新情境中执行任务的表现。定位与复合误差使机器人难以精确地朝任务方向导航并为操作摆好位置。有些做法是为此使用 AprilTag、采用更不易出错的分析方法，或对机器人进行足够的调校，使其可靠地完成任务。
这些能力虽然已经存在，但实现起来既不容易也不便宜。遥操作员可能还要使用一段时间，机器人的速度不会特别快，而且每增加一种新动作，难度都会随之上升。像扭转或弯腰这类全身控制的复杂动作，则为问题再添一层难度。Level 3 的许多问题可以通过更多的学习数据来解决，但移动操作机器人对数据的需求极大，而且仍处于早期阶段。
展望未来
有望带来进展的来源
Level 3 虽然已经开始部署并产生经济影响，但我们仍处于非常早期的阶段。目前，VLA 和遥操作数据正在取得有意义的进展，并可能继续推动学习规模化，其他路径也可能带来帮助。仿真器可能会在操作学习方面发挥更大作用。我们已经看到仿真器大幅提速的早期证据，得益于视觉合成数据的一些优势，sim2real 差距的某些方面也已开始缩小。合成数据和数据增强方法正在进步，事实证明它们有助于拓宽导航、操作和控制方面的数据采集。此外，真实数据本身也可以进一步丰富，例如持续进行开源数据采集，或通过现场部署收集特定领域、特定任务或边缘案例的数据。在大多数情况下，我们看到更大、更多样的数据集在推动学习规模化、完善机器人的能力并解决当前的挑战。
部署
在部署中，我们预计执行 Level 3 任务的这些机器人将逐步摆脱遥操作监督和运营层面的保障措施。势场（potential fields）或风险感知建模等即时保障措施，应会随着自主能力的提升而逐渐淡出。遥操作监督的配比将从最初的 1:1（一台机器人对一名人员）扩展到或许 10:1，并且这一比例还会持续提高，直到由自主能力全面接管。此外，这些自主机器人最终可能会直接接入 WMS，通过与系统的完全集成来优化任务和动作，并提高吞吐量。
虽然目前有些人可能选择轮式底盘的人形机器人，但我们预计双足运动问题终将得到解决。我们已经看到双足运动取得了切实进展，一些机器人可以应对多样的地形，并且越来越稳定。尽管有些进展可能比其他的更快，但我们确实预计这会对 Level 3 产生影响。
在这一等级，机器人有可能进入家庭，但其范围和功能很可能非常受限。一台定制机器人也许只负责洗衣服，别的什么都不做，从而将对人类的风险降到最低。机主甚至可能亲自遥操作机器人，或只在家中无人时才让它运行。然而，只要出一次差错，打碎一张婚纱照，就足以损害它的声誉。
尽管能力可能会继续完善、部署也会加速，但人类独有任务的最后堡垒依然存在。
Level 4：依赖力觉的任务
Level 4 代表最终的演进阶段，机器人可以精确无误地执行依赖力觉的精细任务。这些任务需要灵巧性（Dexterity），才能理解环境中的物理力并做出细腻的反应。机器人必须完成需要细腻、自适应触觉的高技能精细操作，这比 Level 3 的低技能操作任务又高了一个层级。
在这一等级，高度自动化劳动力的承诺得以兑现，为迄今为止一直专属于人类的剩余劳动任务打开了大门。
展望未来
这仍是一个正在研究中的领域，因此我们将介绍有望带来进展的来源和预期影响，但并不是详尽的清单。
有望带来进展的来源
操作能力可以应对许多用例，但对手头任务和物体的物理特性根本上“麻木”，给能力设定了难以逾越的天花板。在这一等级，机器人的“手”登场了，配备了触觉传感或稳健的反馈回路来增强这种敏感度。不过，这未必是完整或最终的解决方案。
悬而未决的争论
到目前为止，扩展视觉模态对大多数任务都很有效，但仍有一批依赖力觉的细粒度任务尚未解决。视觉模态目前难以捕捉这些物理线索来解决这些任务，有些人认为更多数据可以解决这个问题。然而，也有人认为这不只是数据问题，而是需要采用不同的方法。例如，在口袋里摸索手机主要靠触觉，虽然也可以借助视觉，但仅靠视觉会让这项任务变得非常困难。
尽管如此，触觉传感近来在成本和效果两方面都取得了很大进展。力和力矩传感在训练中也初现价值。我们认为，力与力矩传感以及触觉传感器未来可能成为解决方案中有用的组成部分，但现在就断言某一种方法“正确”还为时过早。
可能有用的途径
Level 4 是一个持续研究的领域，重点是让机器人具备对力和重量的理解。未来可以从多个角度入手，帮助依赖力觉的任务落地：
- 先进传感器：机器人“指尖”上的触觉传感可用于采集示范学习的数据，并赋予机器人“触觉”
- 仿真器：大规模仿真有望缓解 sim2real 差距
- 新的学习方法：在新的触觉和力数据流上训练 VLA，可能使机器人把视觉与物理交互联系起来
- 特定任务模型：可以针对特定动作或行为使用各种独立的策略，以正确理解力
- 柔顺控制：控制函数使机器人关节能够感知相反方向的力，并顺应或绕开这些力
目前有许多方法正被用来解决依赖力觉任务的问题，很可能还有更多尚未出现的方法。我们承认，这些任务的解决方案可能采用其中任何一种、几种的组合，或是尚待发现的新进展。
Level 4 的影响：大规模取代劳动力
这些依赖力觉的高精度任务一旦解锁，就为大部分体力劳动市场的自动化打开了大门。随着时间推移，我们可能会看到以下领域实现自动化：
- 技术工种：管道工程、电气工程，以及需要对力和重量有直觉的精细装配任务。一旦解锁，这些工作将首次变得可以自动化，面向的是全球市场。
- 服务业：精细的运动技能使机器人能够将零售和酒店业中其余的服务岗位也实现自动化。
- 制造与物流：这些领域中所有剩余的任务，如复杂包装、精密装配、安装等，现在都成为可能。
随着瞄准 Level 4 的机器人变得更加可靠并赢得更多信任，它们将承担更深远的角色，例如为每个国家专设的灾难救援队，且没有损失“生命”的风险；或是自主的太空探索，它们可以探索新的世界，并搭建营地，供人类日后抵达。
此外，我们在第一篇文章中提出的生存性威胁，以及我们的合著者 Joe Ryu 在 Edge of Automation 中的深入探讨，可能会在这里变为现实。具备 Level 4 能力的机器人可能是超人级的劳动者，租赁价格远低于人类劳动力，还可能被用来大规模制造相同的机器人，将劳动成本压低到难以想象的水平。商品可能变得近乎无弹性，随着不可能的产能成为现实，传统的市场价值可能被颠覆。第一个达到这一层级的国家或公司可能会制定劳动经济的规则并引发地缘政治剧变，一些国家会实施边境管制，或直接禁止来自其他国家的机器人和服务。
此刻正是时候
通用机器人的梦想不再是遥远的幻想。它正在被构建，一个 Level 接着一个 Level。这条道路上的每一步都释放出巨大的经济价值，并以深远的方式重塑我们的世界。
我们离最后一章比许多人意识到的要近得多。必不可少的 Level 0 工业机械臂向我们展示了机器人在合适的应用中能做到什么，即使没有自主能力。在 Level 1，新的适应能力带来了巨大的希望，但它来得太早，让许多人心生芥蒂。不过，新的范式已使其应用变得可行得多。如今，Level 2 随着基础模型而到来，广泛的推理能力释放出通用机器人所需的自主性（Agency）。这一向自主性的跃迁使它们能够在我们复杂的开放世界中导航，并且仍是未来各等级多模态推理能力的起源。Level 3 凭借新获得的操作能力提升了灵巧性（Dexterity），将操作泛化到各种物体和环境，这是 Level 1 的梦想。结合 Level 2 的移动能力，Level 3 创造了第一个真正意义上的人类劳动力替代，尽管只有基本能力。最后，Level 4 代表机器人技术的未来，对力的理解可能是通向完全自主机器人的最后一座桥梁，将使几乎所有体力劳动自动化，并创造新的角色。
这个框架不只是一次学术演练，更是一种战略工具。它让行业利益相关者、工程师和研究人员能够厘清机器人领域模糊的界线，把精力集中在最可能获益的地方。机器人的演进不会是一次戏剧性的单一事件，而是一场稳步、审慎的攀登。我们通过自主等级（Levels of Autonomy）勾勒出通用机器人的上升路径，其设计初衷正是穿透过往失败、未来炒作和模糊概念所带来的噪声。在接下来的文章中，我们将详细分析供应链中谁将成为赢家或输家，以及随着变革不断重塑格局，我们应当期待什么。