随着 AI 助手从简单的文本界面演进为多模态伙伴，我们正看到一种转向：助手变得更主动，也更贴合所处情境。Project Astra 和 Gemini 3.1 Flash Live 等近期创新已经允许用户实时讨论自己身边的物理环境，通常借助视觉边界框叠加层来识别摄像头画面中的物体。这些叠加层在 2D 屏幕上非常有效，但过渡到 Android XR 这样的沉浸式平台时，却带来了一个独特的挑战：如何超越扁平的界面，打造真正具身化、具备空间感知的对话？
为弥合这一差距，我们推出了 AgentHands（发表于 CHI 2026），这是一个研究原型，把伴随言语的手势（co-speech gesture）带入 3D 世界。在人类交流中，我们的双手不只是指点：它们描述形状、模仿动作、强调重点，并且全程与声音同步。借助扩展现实（XR）的空间理解能力，AgentHands 复现了这种自然的协同。继我们此前在 Human I/O 和 Sensible Agent 上的研究之后，AgentHands 进一步为 AI 智能体配备富有表现力且同步的手势，把抽象的口头指令转化为直观的实物演示，让关于周围环境的对话更自然、更有吸引力。
▶ https://storage.googleapis.com/gweb-research2023-media/media/AgentHands1_Demo.mp4
播放 静音循环视频 暂停 静音循环视频
取消静音 视频 静音 视频
AgentHands 演示：为 AI 智能体配备富有表现力、同步的手势，实现 XR 中基于空间的对话。
面向 XR 具身手部智能体的分类体系
首先，我们与 Google 的 XR 和人机交互（HCI）专家开展了一项形成性研究，以确定怎样的虚拟手在 3D 环境中才算“易读”。我们把这些洞察提炼成一个多维分类体系，定义智能体应如何用双手把对话锚定在用户的物理空间中。
- 单双手 & 手势：在单手或双手之间选择，并从手势库中挑选形态，例如表示警告的“手掌”，或模拟握持工具的“圆柱握”。
- 空间性：利用 XR 的深度来决定手应该出现在哪里。它们可以悬于半空用于一般交谈，可以锚定在物体上用于指认具体部位，也可以相对于用户放置以传达社交线索。
- 时间动态 & 视觉特效（VFX）：XR 中的手势不只是静态姿势，还包括“倾倒”或“描摹”之类的动画动作。我们还利用 XR 独有的视觉层添加特效，例如用红色光晕表示高温警告。
AgentHands 工作流
AgentHands 的核心创新在于，它能把 LLM 的高层推理映射为精确、实时的物理动作，使其与智能体的“声音”和用户的 XR 环境相匹配。我们通过以下关键步骤构成 AgentHands 工作流。
环境感知
系统从一个轻量级的物体注册模块开始。借助眼动注视和场景重建，用户可以快速“标记”物品（例如一盆兰花或一台笔记本电脑），建立带有 3D 边界框的空间注册表，供智能体引用。
手势事件库
我们构建了一个手势行为库，涵盖三个语义类别：a) 指示性（deictic），用于指称；b) 象形性（iconic），用于描绘动作或形态；c) 表情性（expression），用于传达社交线索和情绪。
嵌入手势的推理
当用户提问时，后端 LLM 生成的回复中包含内嵌的 GestureEvent。每个事件都附着在特定的触发词上，并按照分类体系的各维度编码一个手部行为的基本要素。
同步的 XR 执行
XR 头显上的本地解析器负责协调文本转语音（TTS）播放与动画引擎。借助词级时间戳，智能体的双手能与口语词汇完美同步地做出伴随言语的手势，提供清晰、富有表现力的空间指代。
通过整合这些模块，AgentHands 在语言意图与物理动作之间搭起了一座无缝的桥梁。系统把标准的 LLM 输出转变为丰富的多模态表演：智能体生成的回复既通过语音，也通过空间上精确的动作呈现出来，使复杂的指令能够恰好在用户环境中发生的位置得到演示。
应用场景
我们演示了这些具身手势与 XR 的空间感知相结合，如何增进我们对物理周围环境的理解。
交互式辅导：在养兰场景中，智能体不只是说“检查根部”；它会把双手移到植株基部，一边解释气生根的功能，一边勾勒出气生根的轮廓。
播放 静音循环视频 暂停 静音循环视频
取消静音 视频 静音 视频
AgentHands 在养兰任务中用空间手势指出气生根。
技术讲解：在 3D 打印机操作中，智能体可以演示操作旋钮和选择文件所需的“旋转并按下”的确切顺序，让复杂的物理界面步骤一目了然。
▶ https://storage.googleapis.com/gweb-research2023-media/media/AgentHands_Application_TechPrint.mp4
播放 静音循环视频 暂停 静音循环视频
取消静音 视频 静音 视频
AgentHands 演示了 3D 打印机菜单导航中精确的旋钮操作。
生活陪伴：智能体可以充当健康教练，与你在现实中的选择互动。例如，智能体可以做出一个交互式的“警告”手势，握住用户的手并配合视觉特效，提醒用户不要做不健康的行为。
播放 静音循环视频 暂停 静音循环视频
取消静音 视频 静音 视频
AgentHands 做出细腻的交互手势，帮助养成健康的日常习惯。
用户研究
为评估这些手势的影响，我们开展了一项被试内研究（N = 12），将 AgentHands 与纯语音基线进行比较。两种条件使用相同的、由研究人员编写脚本的口头内容，确保唯一的差别是有无具身的手及其同步手势。参与者完成了两项流程性任务，兼顾日常养护与技术操作。
- 养兰任务：用户学习识别植株各部位（气生根、茎），并完成多步骤的养护活动，包括定点浇水和正确施肥。
- 3D 打印机操作任务：用户先在引导下识别喷嘴和打印平台等硬件部件，然后按流程开机、插入 SD 卡并操作控制面板。
用户研究的设置，展示两个任务环境：(a) 兰花养护站和 (b) 3D 打印机操作站。
结果
结果证实，XR 与伴随言语的手势相结合，对基于空间的交互非常有效。我们围绕沟通效果的若干关键指标分析了数据。
- 空间指代显著提升：参与者发现，定位具体物体和识别智能体所指的方向明显更容易（p < 0.05）。指点手势恰好在智能体说出“这个”的瞬间及时“落”下，消除了纯口头指令中常见的猜测。
- 对复杂动作的理解增强：所需完成的活动被评为更容易跟随（p < 0.05）。一位参与者提到：“直到智能体做出抬起的手势，我才意识到需要把兰花抬起来让水流干”。
- 突出的安全提示：当警告与手势提示和视觉特效搭配时，效果要好得多。3D 打印机任务中使用的“灼烧”特效被评价为“令人印象深刻”，确保用户一定会注意到喷嘴发烫的风险。
- 认知负荷降低：参与者觉得指令更容易理解和记忆。定性反馈表明，这双手让人感觉像是“引导我的伙伴”，把体验从基于工具的搜索转变为一种融合的、具身的对话。
结论与未来方向
AgentHands 代表着朝这样一种未来迈出的一步：AI 系统不再只是分析我们的世界，而是在其中动态地行动。通过利用伴随言语的手势和 XR 的空间能力，把对话锚定在物理动作上，我们可以降低复杂任务的认知负荷，让空间计算更易于使用，也更以人为本。
在继续面向 Android XR 生态系统开发的同时，我们也在探索让这些手势更加个性化的方式，例如适应用户的惯用手，或学习其特定的空间习惯，以实现更加无缝的人机协作。
致谢
这项研究主要由 Ziyi Liu 在 Google 担任学生研究员期间完成，是跨多个团队的联合协作成果。我们衷心感谢主要贡献者 David Li、Zhongyi Zhou 和 David Kim 的支持，也感谢 Adarsh Kowdle、Guru Somadder 和 Shahram Izadi 的战略指导和细致审阅。