在匹兹堡的核心地带，一场静悄悄的变革正在发生，它有望重新定义残障人士所说的“独立”。这场变革的中心是人类工程研究实验室（Human Engineering Research Laboratories，HERL），这是匹兹堡大学的一家开创性研究机构，目前正牵头一项由美国卫生高级研究计划局（ARPA-H）提供最高 4150 万美元资助的项目。ARPA-H 是一家为支持变革性生物医学与健康突破而设立的美国科研资助机构。在 ARPA-H 的支持下，HERL 团队与辅助技术创新先驱 ATDev 正在打造“为残障人士提供独立性的机器人辅助移动与操作平台”（Robotic Assistive Mobility and Manipulation Platform Providing Independence for People with Disabilities，RAMMP），融合了前沿机器人技术、人工智能和以用户为中心的设计。
据估计，美国有 550 万轮椅使用者，对他们而言，保有行动能力意味着个人的机会和对日常生活的参与。当辅助技术无法反映真实世界的复杂性时，它可能会削弱人们的信心、独立性和人身安全。相关数字令人警醒：美国急诊科每年要处理超过 10 万起与轮椅有关的伤害，往往是由绊倒和摔倒造成的。因此，对更智能、更安全、适应性更强的技术的需求十分迫切。
RAMMP：辅助移动的新纪元
由 ARPA-H 支持的机器人辅助移动与操作平台（RAMMP）项目，旨在通过整合先进机器人技术、新型操作系统和数字孪生技术来弥补当前机器人移动平台设计的不足，并创建一个虚拟仿真环境，用于安全、可扩展的测试与开发。RAMMP 的方案还整合了人工智能，包括使用 Meta 的多个开源 AI 视觉模型，其中有 DINO 和 Segment Anything Model（SAM）。
DINO 和 SAM 已经在从医学影像到野生动物保护等各类项目中发挥了作用。DINO 是一种自监督视觉 Transformer，擅长从无标注数据中学习视觉表征，非常适合标注数据集稀缺的环境。而 SAM 的设计目标是“分割一切”（segment anything），只需极少的提示，就能识别并勾勒出图像或视频中的任何物体。Segment Anything 的通用性和准确性，使其成为对精确物体识别要求极高的各个领域中的基础性工具。
面向真实世界的工程：在边缘设备上运行 DINOv3 和 SAM
对依赖辅助设备的人来说，每一秒都很重要。日常环境难以预测，比如孩子突然冲过人行道、路缘石骤然出现，或是一串钥匙掉落，都需要立即做出反应。直接在设备上处理摄像头图像和传感器数据，即所谓的边缘计算，能让机器人移动平台成为反应灵敏的工具。这些工具必须在人们生活的各种动态环境中保持稳健和一致。
与此同时，要在有限的、依靠电池供电的硬件上部署 DINOv3 和 SAM 这样的强大 AI 模型，会带来重大的工程挑战。现实部署必须考虑续航、散热、不可靠的网络连接，以及严格的尺寸和重量要求等实际因素。
然而，如果最终用户无法借助这些新的机器人系统完成日常生活活动，那么克服这些限制对他们来说就毫无意义。这些较新的方法让用户能够更自然地与机器人交互，把身边的环境作为上下文，使工程师和用户都不必再设计和操作复杂、耗时的界面。借助自然语言结合图像数据来查询用户和机器人所处的环境，并给出更直接的指令，可以直接降低认知负荷，减少用户做一件简单事情（比如从桌上拿起一个杯子）所需的上下文切换。
RAMMP 团队已经在把这一功能集成到他们的第一个原型中，利用基于 DINO 构建的工具，查询机器人的图像传感器，以检测自动门按钮、杯子，以及用于导航辅助的路缘石/地面。这一功能现已具备真实世界测试的条件，工程师们正把重点放在语音和触控输入上，让用户能够选择并与周围环境中的特定物体交互。除了确保模型输出的准确性和时间连贯性这些既有挑战之外，这还带来了另一项挑战：确保在不同用户的提示和输入下依然稳健、可预测。
DINOv3 为设备充当一个紧凑、高效的“视觉大脑”，这是一个通用的基础，可以在其上叠加面向特定任务的轻量模块，用于物体检测或运动跟踪等操作，从而实现视觉数据的复用并节省电力。
在机器人系统的开发中同时应用这两个模型时，工程师会针对边缘设备对模型进行优化：缩减内存占用，在合适的地方使用更低的精度，并以适合真实环境条件的格式部署。这确保了为用户提供可靠的实时运行。通过在实用的分辨率下运行并采用高效的批处理，即使在机器人移动平台和机械臂所使用的紧凑、电池供电的硬件上，这两个模型也能保持快速而可靠，有时会牺牲一点边界精度和/或特征细节，来换取行动中的用户所需要的速度和稳定性。这种在精度与实用性之间的平衡，是该项目理念的核心。
“对辅助机器人而言，衡量性能的标准不只是基准测试的准确率，而是系统能否在日常生活的不可预测性中可靠运行，”RAMMP 项目幕僚长 Sivashankar Sivakanthan 说。“在设备端运行 DINOv3 和 SAM 这样的模型，才能实现用户可以信赖的实时感知，既不依赖网络连接，也不会牺牲安全。”
RAMMP 的感知系统建立在 RF-DETR 之上，这是一个使用 DINOv2 嵌入微调的轻量检测模型。训练数据由 SAM 自动标注，使团队能够快速生成高质量的标注，覆盖辅助设备在真实世界中会遇到的各种角度、高度、背景和光照情况。数据增强和多视角策略进一步保证了不同视角下的一致性。最终得到的系统智能、自适应，能提供更安全、更有信心的移动体验。
RAMMP 将 SAM 的标注能力与 DINOv2 丰富的视觉表征结合到微调后的 RF-DETR 模型中，实现了实时的 360 度环境感知和自适应物体检测。
面向未来的协作愿景
HERL 与 ATDev 作为 RAMMP 联盟中的关键合作伙伴携手工作，各自为项目带来不同的优势。HERL 凭借其在生物医学工程和以用户为中心的研究方面的深厚专长牵头该项目，为下一代辅助移动设定愿景。ATDev 则带来了扎实的工程视角，将 HERL 的转化研究落地到真实设备中。HERL 与 ATDev 共同展示了学术引领与技术创新如何结合，打造出既具突破性、又深切贴合用户生活体验的移动解决方案。
除了整合前沿人工智能之外，HERL 的方法还高度强调协作，在整个设计过程中让轮椅使用者、临床医生和倡导团体参与其中。这种参与式行动方法确保技术回应的是真实世界的需求，而不仅仅是假想的需求。RAMMP 背后的全国性联盟包括 Kinova Robotics、LUCI Mobility、ATDev 等合作伙伴，以及卡内基梅隆大学、康奈尔大学、东北大学和普渡大学的学术带头人。
“通过 RAMMP，ARPA-H 希望借助先进的机器人技术，创造这样一个未来：行动不便的美国人能够更轻松地独立生活、从事工作并享受休闲活动，”ARPA-H 项目经理 Mansoor Khan 说。“Meta 的视觉模型是让机器人平台能够‘看见’的关键技术。这些模型帮助机器人理解场景、在世界中导航，并拿起正确的物品，从而显著减轻用户的认知负担，提高独立性。”
除了提升个人行动能力之外，RAMMP 还希望推动匹兹堡乃至整个宾夕法尼亚州出现新的就业和制造业机会，促进先进移动解决方案和本土生产。这一愿景将技术进步与经济和社会发展交织在一起。
“RAMMP 团队通过 ARPA-H 正在构建的东西，让我们得以一窥当我们不再接受现状时，美国的健康创新会是什么样子，”ARPA-H 主任 Alicia Jackson 博士说。“数百万行动不便的美国人理应得到能够迁就他们现状的技术，而不是要求他们去适应的技术。与 Meta 这样的世界级创新者合作，把前沿 AI 带入辅助机器人领域，正是让这一切比任何人想象的都更快实现的方式。”
展望未来，RAMMP 团队将继续推进新一代感知模型的集成，包括 SAM 3.1 和 DINOv3，以进一步提升对环境的实时理解和交互能力。未来的工作将聚焦于加强时间一致性、在各种真实世界条件下的稳健性，以及与决策和控制系统的更紧密集成。通过结合这些进展，RAMMP 希望迈向这样的辅助系统：不仅能准确感知环境，还能随时间推移适应每位用户独特的需求、行为和情境。下一代辅助机器人不只是移动人，而是推动社会更接近这样一个世界：每个人，无论能力如何，都能充分而独立地参与其中。
进一步了解 DINO
进一步了解 SAM
最新动态，直送你的收件箱
订阅我们的新闻通讯，随时了解 Meta AI 的新闻、活动、研究突破等更多内容。