去年，我们推出了 SIMA（Scalable Instructable Multiworld Agent，可扩展、可指令化的多世界智能体），这是一个通用 AI，能在各种虚拟环境中遵循基本指令。SIMA 是教会 AI 在丰富的 3D 世界中把语言转化为有意义行动的关键第一步。
今天，我们推出 SIMA 2，这是我们研发通用、实用 AI 智能体的下一个里程碑。通过整合 Gemini 模型的先进能力，SIMA 正从一个指令执行者进化为可交互的游戏伙伴。SIMA 2 不仅能在虚拟世界中遵循人类语言指令，现在还能思考自己的目标、与用户对话，并随时间推移不断自我改进。
这是朝着通用人工智能（AGI）迈出的重要一步，对机器人技术以及整个具身 AI 的未来都有重要意义。
▶ SIMA 2: An agent that plays, reasons, and learns with you in virtual 3D worlds
推理的力量
第一代 SIMA 学会了 600 多项遵循语言指令的技能，例如“向左转”“爬梯子”“打开地图”，覆盖多种商业电子游戏。它像人一样在这些环境中行动：“看”着屏幕，用虚拟键盘和鼠标来导航，并且无法访问底层的游戏机制。
有了 SIMA 2，我们已经超越了单纯的指令遵循。通过把 Gemini 模型嵌入为智能体的核心，SIMA 2 不再只是响应指令，还能对指令进行思考和推理。
MineDojo：SIMA 1（左）尝试遵循指令，而 SIMA 2（右）在一款从未见过的游戏中成功完成了任务。
ASKA：面对指令“找到一堆篝火”，SIMA 1（左）尝试执行，而 SIMA 2（右）在一款从未见过的游戏中成功完成了任务。
SIMA 2 的新架构整合了 Gemini 强大的推理能力，帮助它理解用户的高层目标，围绕目标进行复杂推理，并在游戏中熟练地执行面向目标的行动。
我们使用带语言标注的人类演示视频，以及 Gemini 生成的标注混合训练 SIMA 2。因此，SIMA 2 现在能向用户说明它打算做什么，并详细描述为实现目标所采取的步骤。
超越简单的指令遵循：SIMA 2 能回答用户的问题，也能对自身行为和所处环境进行推理。
超越简单的指令遵循：SIMA 2 能回答用户的问题，也能对自身行为和所处环境进行推理。
超越简单的指令遵循：SIMA 2 能回答用户的问题，也能对自身行为和所处环境进行推理。
在测试中我们发现，与这个智能体互动，感觉不太像是在给它下命令，更像是在与一个能对手头任务进行推理的伙伴协作。
得益于与现有和新增游戏合作伙伴的合作（见致谢），我们得以在更广泛的游戏上训练和评估 SIMA 2。
这就是 Gemini 为具身 AI 带来的力量：一个世界级的推理引擎，如今能够在复杂、可交互的 3D 环境中感知、理解并采取行动。
SIMA 2 通过对环境和用户意图进行推理，来理解抽象概念和逻辑指令。
SIMA 2 通过对环境和用户意图进行推理，来理解抽象概念和逻辑指令。
SIMA 2 通过对环境和用户意图进行推理，来理解抽象概念和逻辑指令。
SIMA 2 通过对环境和用户意图进行推理，来理解抽象概念和逻辑指令。
泛化性能的飞跃
引入 Gemini 还带来了泛化能力和可靠性的提升。SIMA 2 现在能理解比前代更复杂、更细微的指令，执行成功率也高得多，尤其是在从未训练过的情境或游戏中，比如全新的维京生存游戏 ASKA，或 MineDojo（热门开放世界沙盒游戏 Minecraft 的研究版实现）。
SIMA 2 能理解并完成冗长而复杂的任务
SIMA 2 能成功执行冗长而复杂的指令。
SIMA 2 在没有任何事先训练的情况下应对一款全新的游戏，进步令人印象深刻。
SIMA 2 能成功执行冗长而复杂的指令。
SIMA 2 能成功执行冗长而复杂的指令。
SIMA 2 能理解多模态提示
用户正在屏幕上画草图。
用户正在屏幕上画草图。
用户正在屏幕上画草图。
SIMA 2 能理解不同语言，甚至表情符号
看看它如何正确理解表情符号并执行任务。
看看它如何遵循不同语言的指令来执行任务。
此外，它还能迁移所学的概念，例如把在一款游戏中对“采矿”的理解应用到另一款游戏的“采集”上，这是实现人类认知中那种广泛泛化的基础。事实上，正是凭借这种能力，SIMA 2 在大量任务上的表现已明显更接近人类玩家。
SIMA 2 能把动作泛化到多款游戏中，包括没有训练过的游戏（如 MineDojo 和 ASKA）。
终极考验：在全新想象出的世界中游玩
为了测试 SIMA 2 泛化能力的极限，我们把它与另一个开创性的研究项目 Genie 3 结合起来，后者可以根据一张图像或一段文本提示，实时生成全新的 3D 模拟世界。
当我们让 SIMA 2 在这些新生成的世界中游玩时，发现它尽管从未见过这样的环境，仍能合理地辨明方位、理解用户指令，并朝着目标采取有意义的行动。它展现出了前所未有的适应能力。
▶ https://storage.googleapis.com/gdm-deepmind-com-prod-public/media/media/SIMA2_GENIE_05.mp4#t=0.1
SIMA 2 在 Genie 3 新生成的世界中游玩。
▶ https://storage.googleapis.com/gdm-deepmind-com-prod-public/media/media/SIMA2_GENIE_04.mp4#t=0.1
SIMA 2 在 Genie 3 新生成的世界中游玩。
▶ https://storage.googleapis.com/gdm-deepmind-com-prod-public/media/media/SIMA2_GENIE_03.mp4#t=0.1
SIMA 2 在 Genie 3 新生成的世界中游玩。
SIMA 2 在 Genie 3 新生成的世界中游玩。
迈向可扩展的多任务自我改进
SIMA 2 最令人兴奋的新能力之一，是它的自我改进能力。我们观察到，在整个训练过程中，SIMA 2 智能体能够依靠试错和基于 Gemini 的反馈自举，完成越来越复杂的新任务。
例如，在最初从人类演示中学习之后，SIMA 2 可以转而完全通过自主游玩来学习新游戏，在从未见过的世界中发展技能，而无需额外的人类生成数据。在后续训练中，SIMA 2 自身的经验数据还可以用来训练下一代能力更强的智能体。我们甚至能在新创建的 Genie 环境中利用 SIMA 2 的自我改进能力，这是朝着在多样的生成世界中训练通用智能体迈出的重要里程碑。
这种迭代改进的良性循环，为未来铺平了道路：智能体可以在极少人工干预的情况下学习和成长，成为具身 AI 中的开放式学习者。
ASKA：左侧是初始 SIMA 2 智能体失败的任务示例，右侧可以看到，SIMA 2 经过多代训练实现了自我改进，整个过程完全没有任何人类反馈或游戏数据。
Genie 3 环境：智能体在一个从未见过的 Genie 3 环境中，经过一代训练后有所改进。
展望未来：通向通用具身智能之路
SIMA 2 能在多样的游戏环境中运行，这是检验通用智能的重要试验场，让智能体得以掌握技能、练习复杂推理，并通过自主游玩持续学习。
SIMA 2 是迈向通用、可交互的具身智能的重要一步，但它本质上仍是一项研究工作，其当前的局限也指明了未来工作的关键方向。我们发现，对于需要大量多步推理和目标验证的超长程复杂任务，智能体仍然面临挑战。SIMA 2 对自身交互的记忆也相对较短：为了实现低延迟交互，它只能使用有限的上下文窗口。最后，通过键盘和鼠标界面执行精确的底层动作，以及对复杂 3D 场景实现稳健的视觉理解，仍然是整个领域持续攻关的开放难题。
这项研究为面向行动的 AI 这条新路径提供了根本性的验证。SIMA 2 证实，一个以广泛能力为目标训练的 AI，借助多样的多世界数据和 Gemini 强大的推理能力，可以成功地把众多专用系统的能力统一到一个连贯的通用智能体中。
SIMA 2 还为机器人领域的应用指明了一条有力的路径。它所学到的技能，从导航、工具使用到协作执行任务，都是未来物理世界 AI 助手所需的智能物理化身的一些基本构件。
负责任的开发
SIMA 2 是一个以人为本、可交互的智能体，与它互动很有趣，尤其是它解释自身推理时那种生动有趣的方式。与我们所有先进的基础技术一样，我们始终坚定地致力于从一开始就负责任地开发 SIMA 2。对其技术创新，尤其是自我改进的能力，更是如此。
在构建 SIMA 2 的过程中，我们一直与负责任开发与创新（Responsible Development & Innovation）团队合作。在继续探索潜在应用的同时，我们将 SIMA 2 作为有限的研究预览发布，并向一小批学者和游戏开发者提供抢先体验。这种做法使我们能在探索这一新领域、不断深化对风险及其恰当缓解措施的认识时，收集到关键的反馈和跨学科视角。我们期待与社区进一步合作，以负责任的方式发展这项技术。
进一步了解 SIMA
致谢
这项研究由 SIMA 2 团队完成：Maria Abi Raad, John Agapiou, Frederic Besse, Andrew Bolt, Sarah Chakera, Harris Chan, Jeff Clune, Alexandra Cordell, Martin Engelcke, Ryan Faulkner, Maxime Gazeau, Arne Olav Hallingstad, Tim Harley, Ed Hirst, Drew Hudson, Laura Kampis, Sheleem Kashem, Thomas Keck, Matija Kecman, Oscar Knagg, Alexander Lerchner, Bonnie Li, Yulan Liu, Cong Lu, Maria Loks-Thompson, Joseph Marino, Kay McKinney, Piermaria Mendolicchio, Anna Mitenkova, Alexandre Moufarek, Fabio Pardo, Ollie Purkiss, David Reichert, John Reid, Tyson Roberts, Daniel P. Sawyer, Tim Scholtes, Daniel Slater, Hubert Soyer, Kaustubh Sridhar, Peter Stys, Tayfun Terzi, Davide Vercelli, Bojan Vujatovic, Jane X. Wang, Luyu Wang, Duncan Williams 和 Lei M. Zhang。
感谢以下各位的领导、指导与支持：Satinder Singh Baveja, Adrian Bolton, Zoubin Ghahramani, Raia Hadsell, Demis Hassabis, Shane Legg, Volodymyr Mnih 和 Daan Wierstra。
衷心感谢部分参与的贡献者和过往成员：Alex Cullum, Karol Gregor, Rosemary Ke, Junkyung Kim, Matthew Jackson, Andrew Lampinen, Loic Matthey, Hannah Openshaw 和 Zhengdong Wang。
特别感谢与我们合作的所有游戏开发商：Coffee Stain（Valheim、Satisfactory、Goat Simulator 3），Foulball Hangover（Hydroneer），Hello Games（No Man's Sky），Keen Software House（Space Engineers），RubberbandGames（Wobbly Life），Strange Loop Games（Eco），Thunderful Games（ASKA、The Gunk、Steamworld Build），Digixart（Road 96），以及 Tuxedo Labs & Saber Interactive（Teardown）。
感谢 Vika Koriakin, Duncan Smith, Nilesh Ray, Matt Miller, Leen Verburgh, Ashyana Kachra, Phil Esposito, Dimple Vijaykumar, Piers Wingfield, Lucie Kerley，感谢他们在开发和完善本项目关键组成部分中的宝贵合作。
我们还要感谢 Jack Parker-Holder、Shlomi Fruchter 及 Genie 团队的其他成员，让我们得以使用 Genie 3 模型。
我们要感谢 Google 和 Google DeepMind 内部为这项工作做出贡献的众多团队，包括法务、市场、传播、责任与安全委员会、负责任开发与创新、政策、战略与运营，以及商务和企业发展团队。我们也要感谢此处未特别提及的所有 GDM 团队一直以来的支持。
最后，我们谨以这项工作纪念我们的同事 Felix Hill 和 Fabio Pardo，他们对我们这一领域的贡献将继续激励着我们。