Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构

2026年4月23日研究

Arthur Douillard 与 DiLoCo 团队

我们的全新分布式架构有助于跨远距离数据中心训练 LLM——带宽更低，硬件韧性更强。

传统上，训练前沿 AI 模型依赖于一个大型、紧耦合的系统，其中相同的芯片必须保持近乎完美的同步。这种方法对当今最先进的模型非常有效，但随着我们展望未来几代的规模，在数千块芯片之间维持这种同步水平成为一项重大的后勤挑战。

今天，在一篇新论文中，我们很高兴分享一种解决该问题的新方法，称为 Decoupled DiLoCo（分布式低通信）。通过将大型训练任务划分到解耦的计算“岛屿”中，并在它们之间以异步方式流动数据，该架构能够隔离局部中断，使系统的其他部分可以继续高效学习。

其结果是，一种更具韧性、更灵活的方式，可在全球分布的数据中心之间训练先进模型。而至关重要的是，Decoupled DiLoCo 不会遭受此前分布式方法（如数据并行）在全球规模下变得不切实际的通信延迟。

随着前沿模型在规模和复杂性上持续增长，我们正在探索多种方法，以在更多算力、地点和多样化硬件上训练模型。

图 1：将训练任务解耦为独立的计算“岛屿”（学习器单元），使得在相同水平的硬件故障下，训练仍能基本不中断，因为这些故障的影响被隔离了。

在大规模下开发更具容错性的异步训练

Decoupled DiLoCo 建立在两项早期进展之上：Pathways，它引入了一种基于异步数据流的分布式 AI 系统；以及 DiLoCo，它大幅降低了分布式数据中心之间所需的带宽，使得跨远距离地点训练大型语言模型变得切实可行。

Decoupled DiLoCo 将这些理念结合在一起，以更灵活的方式大规模训练 AI 模型。它构建在 Pathways 之上，支持跨独立计算岛屿（称为学习器单元）的异步训练，因此某个区域的芯片故障不会中断其他区域的进展。

该基础设施还具备自愈能力。在测试中，我们使用了一种称为“混沌工程”的方法，在训练过程中人为引入硬件故障。Decoupled DiLoCo 在整个学习器单元丢失后仍继续训练过程，并在它们重新上线时无缝地将其重新整合。

使用 Gemma 4 模型对 Decoupled DiLoCo 进行测试表明，当硬件发生故障时，该系统比更传统的训练方法保持了更高的学习集群可用性——同时最终交付了相同基准水平的机器学习（ML）性能。

图 2：左：Decoupled DiLoCo 方法所需的带宽比传统训练方法低几个数量级，因此非常高效。中：随着硬件故障率上升，Decoupled DiLoCo 仍能持续提供高水平的“有效产出”（goodput），即有用的训练量，而其他方法则急剧下降。（前两张图表基于模拟训练运行）。右：在真实世界实验中，使用 Decoupled DiLoCo 训练的 Gemma 4 模型在基准 ML 性能上与传统训练方法所达到的性能相当。

Decoupled DiLoCo 不仅对故障更具韧性，而且对于执行生产级、完全分布式的预训练也很实用。我们成功地在四个不同的美国区域训练了一个 120 亿参数的模型，使用了 2-5 Gbps 的广域网络（这一水平利用数据中心设施之间现有的互联网连接相对即可实现，而无需在设施之间新建定制网络基础设施）。值得注意的是，该系统实现这一训练结果的速度比传统同步方法快 20 倍以上。这是因为我们的系统将所需的通信纳入更长的计算周期中，避免了系统某一部分必须等待另一部分的“阻塞”瓶颈。

推动 AI 训练基础设施的演进

在 Google，我们对 AI 训练采取全栈方法，涵盖硬件、软件基础设施和研究。越来越多的收益来自于重新思考这些层次如何协同配合。

Decoupled DiLoCo 就是一个例子。通过以互联网级带宽支持训练任务，它可以利用任何位置闲置的计算资源，将搁置资源转化为有用容量。

除了效率和韧性之外，这种训练范式还解锁了在单次训练运行中混合不同硬件代际的能力，例如 TPU v6e 和 TPU v5p。这种方法不仅延长了现有硬件的使用寿命，还增加了可用于模型训练的总计算量。在我们的实验中，不同代际、以不同速度运行的芯片仍能达到与单一芯片类型训练运行相同的 ML 性能，确保即使是较旧的硬件也能有意义地加速 AI 训练。

此外，由于新一代硬件不会同时到达所有地方，能够跨代际训练可以缓解反复出现的物流和容量瓶颈。

在我们今天推动 AI 基础设施前沿的同时，我们也在继续探索解锁下一代 AI 所需的韧性系统方法。

致谢

这项工作由 Google DeepMind 和 Google Research 的团队成员共同完成。

Decoupled DiLoCo 的负责人和核心贡献者是 Arthur Douillard、Keith Rush、Yani Donchev、Zachary Charles、Ayush Dubey、Blake Woodworth、Ionel Gog、Josef Dean、Nova Fallen、Zachary Garrett。运营支持由 Nate Keating 和 Jenny Bishop 完成。

我们也感谢 Jeff Dean、Marc’Aurelio Ranzato、Raia Hadsell、Arthur Szlam、Edouard Yvinec、Henry Prior、Paul Barham、Michael Isard、Daniel Ramage、Brendan McMahan、Chase Hensel 和 Zoltan Egyed 提供的额外支持和建议。