Google DeepMind 发布 SIMA 2：可推理、对话并在 3D 虚拟世界中自我改进的智能体

2025年11月13日研究

SIMA 团队

去年，我们推出了 SIMA（Scalable Instructable Multiworld Agent，可扩展可指令多世界智能体），这是一个通用型 AI，能够在各种虚拟环境中遵循基本指令。SIMA 是教会 AI 在丰富的 3D 世界中将语言转化为有意义行动的关键第一步。

今天我们推出 SIMA 2，这是我们在打造通用且有用的 AI 智能体研究道路上的下一个里程碑。通过整合我们Gemini 模型的先进能力，SIMA 正从指令执行者进化为互动游戏伙伴。SIMA 2 不仅能在虚拟世界中遵循人类语言指令，现在还能思考自身目标、与用户对话，并随时间推移自我改进。

这是迈向通用人工智能（AGI）的重要一步，对机器人技术以及广义上的 AI 具身化具有重要影响。

推理的力量

SIMA 的第一个版本学会了在各类商业电子游戏中执行 600 多项遵循语言的技能，例如“向左转”、“爬梯子”和“打开地图”。它在这些环境中像人一样操作，通过“看”屏幕并使用虚拟键盘和鼠标来导航，而无法访问游戏底层的机制。

借助 SIMA 2，我们已经超越了指令执行。通过将 Gemini 模型嵌入为智能体的核心，SIMA 2 不仅能响应指令，还能对指令进行思考和推理。

SIMA 2 的新架构整合了 Gemini 强大的推理能力，帮助它理解用户的高层目标，为实现目标进行复杂推理，并在游戏中熟练执行目标导向的行动。

我们使用带语言标签的人类演示视频以及 Gemini 生成的标签的混合数据来训练 SIMA 2。因此，SIMA 2 现在能够向用户描述它打算做什么，并详细说明它为实现目标所采取的步骤。

在测试中，我们发现与智能体互动感觉不像是在下达命令，而更像是与一位能够对当前任务进行推理的伙伴协作。

得益于我们与现有及新游戏合作伙伴的合作（见致谢），我们得以在更广泛的游戏上训练和评估 SIMA 2。

这就是 Gemini 为具身 AI 带来的力量：一个世界级的推理引擎，如今能够在复杂的交互式 3D 环境中感知、理解并采取行动。

泛化性能的飞跃

Gemini 的加入还带来了泛化能力和可靠性的提升。SIMA 2 现在能理解比前代更复杂、更微妙的指令，并且执行起来成功率高得多，尤其是在它从未接受过训练的情境或游戏中，例如新的维京生存游戏 ASKA，或 MineDojo——热门开放世界沙盒游戏 Minecraft 的研究实现。

SIMA 2 能够理解并完成冗长复杂的任务

SIMA 2 能够理解多模态提示

SIMA 2 能够理解不同语言甚至表情符号

此外，它迁移所学概念的能力——例如，将在一个游戏中对“采矿”的理解应用到另一个游戏中的“采集”上——是实现人类认知中那种广泛泛化能力的基础。事实上，得益于这种能力，SIMA 2 在众多任务上的表现已显著接近人类玩家。

SIMA 2 能够跨多个游戏泛化动作，包括它未曾接受过训练的游戏（如 MineDojo 和 ASKA）。

终极测试：在全新想象的世界中游玩

为了测试 SIMA 2 泛化能力的极限，我们将其与另一项突破性研究项目 Genie 3 相结合，后者能够根据单张图像或文本提示生成全新的实时 3D 模拟世界。

当我们让 SIMA 2 在这些新生成的世界中游玩时，我们发现它能够合理地定位自身、理解用户指令，并朝着目标采取有意义的行动，尽管它此前从未见过这样的环境。它展现出了前所未有的适应能力。

迈向可扩展的多任务自我提升

SIMA 2 最令人兴奋的新能力之一是其自我提升的能力。我们观察到，在整个训练过程中，SIMA 2 智能体能够执行日益复杂和新颖的任务，这得益于试错和基于 Gemini 的反馈。

例如，在最初从人类演示中学习之后，SIMA 2 可以完全通过自主游玩过渡到在新游戏中学习，在先前未见过的世界中发展技能，而无需额外的人工生成数据。在后续训练中，SIMA 2 自身的经验数据可用于训练下一代能力更强的智能体版本。我们甚至能够在新创建的 Genie 环境中利用 SIMA 2 的自我提升能力——这是朝着在多样化生成世界中训练通用智能体迈出的重大里程碑。

SIMA 2 的自我提升循环始于 Gemini 提供初始任务以及对 SIMA 2 行为的预估奖励。这些信息随后被添加到自我生成的经验库中，智能体在后续世代中利用该经验库进行进一步训练。这一过程使智能体能够完全独立于人工生成的演示和干预，改进此前失败的任务。

这种迭代改进的良性循环为未来铺平了道路：智能体能够在极少人工干预的情况下学习和成长，成为具身 AI 中的开放式学习者。

展望未来：通往通用具身智能之路

SIMA 2 在多样化游戏环境中运行的能力是通用智能的关键试验场，使智能体能够掌握技能、练习复杂推理，并通过自主游玩持续学习。

虽然 SIMA 2 是迈向通用、交互式、具身智能的重要一步，但它从根本上仍是一项研究性工作，其当前的局限性也凸显了未来工作的关键方向。我们发现，这些智能体在需要大量多步推理和目标验证的超长时程、复杂任务上仍面临挑战。SIMA 2 对其交互的记忆也相对短暂——它必须使用有限的上下文窗口来实现低延迟交互。最后，通过键盘和鼠标界面执行精确的底层动作，以及对复杂 3D 场景实现稳健的视觉理解，仍是整个领域持续攻克的开放挑战。

这项研究为面向行动的人工智能的一条新路径提供了根本性验证。SIMA 2 证实，一个为广泛能力而训练、利用多样化多世界数据和 Gemini 强大推理能力的人工智能，能够成功地将许多专用系统的能力统一为一个连贯的通用智能体。

SIMA 2 还为机器人领域的应用提供了一条强有力的路径。它所学到的技能——从导航和工具使用到协作任务执行——是未来物理世界中的 AI 助手所需的智能物理具身化的一些基本构建模块。

负责任的发展

SIMA 2 是一个交互式、以人为本的智能体，与之互动很有趣，尤其是它解释自身推理的方式颇具娱乐性。与我们所有的先进和基础技术一样，我们从一开始就坚定地致力于负责任地开发 SIMA 2。在其技术创新方面尤其如此，特别是自我改进的能力。

在构建 SIMA 2 的过程中，我们与我们的负责任发展与创新团队合作。在我们继续探索潜在应用的同时，我们将 SIMA 2 作为有限的研究预览版发布，并向一小批学者和游戏开发者提供早期访问权限。这种方法使我们能够在探索这一新领域并继续加深对风险及其适当缓解措施的理解时，收集关键反馈和跨学科视角。我们期待与社区进一步合作，以负责任的方式发展这项技术。

了解更多关于 SIMA 的信息

致谢

这项研究由 SIMA 2 团队开发：Maria Abi Raad、John Agapiou、Frederic Besse、Andrew Bolt、Sarah Chakera、Harris Chan、Jeff Clune、Alexandra Cordell、Martin Engelcke、Ryan Faulkner、Maxime Gazeau、Arne Olav Hallingstad、Tim Harley、Ed Hirst、Drew Hudson、Laura Kampis、Sheleem Kashem、Thomas Keck、Matija Kecman、Oscar Knagg、Alexander Lerchner、Bonnie Li、Yulan Liu、Cong Lu、Maria Loks-Thompson、Joseph Marino、Kay McKinney、Piermaria Mendolicchio、Anna Mitenkova、Alexandre Moufarek、Fabio Pardo、Ollie Purkiss、David Reichert、John Reid、Tyson Roberts、Daniel P.

Sawyer、Tim Scholtes、Daniel Slater、Hubert Soyer、Kaustubh Sridhar、Peter Stys、Tayfun Terzi、Davide Vercelli、Bojan Vujatovic、Jane X. Wang、Luyu Wang、Duncan Williams 和 Lei M. Zhang。

感谢以下人士的领导、指导和支持：Satinder Singh Baveja、Adrian Bolton、Zoubin Ghahramani、Raia Hadsell、Demis Hassabis、Shane Legg、Volodymyr Mnih 和 Daan Wierstra。

衷心感谢部分贡献者和过往成员：Alex Cullum、Karol Gregor、Rosemary Ke、Junkyung Kim、Matthew Jackson、Andrew Lampinen、Loic Matthey、Hannah Openshaw 和 Zhengdong Wang。

特别感谢所有与我们合作的游戏开发者：Coffee Stain（Valheim、Satisfactory、Goat Simulator 3）、Foulball Hangover（Hydroneer）、Hello Games（No Man's Sky）、Keen Software House（Space Engineers）、RubberbandGames（Wobbly Life）、Strange Loop Games（Eco）、Thunderful Games（ASKA、The Gunk、Steamworld Build）、Digixart（Road 96）以及 Tuxedo Labs & Saber Interactive（Teardown）。

我们感谢 Vika Koriakin、Duncan Smith、Nilesh Ray、Matt Miller、Leen Verburgh、Ashyana Kachra、Phil Esposito、Dimple Vijaykumar、Piers Wingfield、Lucie Kerley 在开发和改进本项目关键组件过程中给予的宝贵合作。

我们还感谢 Jack Parker-Holder、Shlomi Fruchter 以及 Genie 团队的其他成员提供 Genie 3 模型的使用权限。

我们要感谢 Google 和 Google DeepMind 内部为本项工作做出贡献的众多团队，包括法务、市场、传播、责任与安全委员会、负责任开发与创新、政策、战略与运营，以及我们的业务与企业发展团队。我们还要感谢此处未明确提及的所有 GDM 团队一直以来的支持。

最后，我们将这项工作献给我们的同事 Felix Hill 和 Fabio Pardo 的纪念，他们对我们领域的贡献继续激励着我们。