Google DeepMind 发布 DiffusionGemma：文本生成最高提速 4 倍

2026年6月10日

|

我们最新的开放实验模型在专用 GPU 上实现了最高 4 倍的推理速度提升，为探索速度关键的交互式本地工作流打开了大门。

Brendan O'Donoghue

研究科学家

Sebastian Flennerhag

研究科学家

今天，我们推出 DiffusionGemma，这是一个探索文本扩散的实验性开放模型，文本扩散是一种极其快速的文本生成方法。该模型以 Apache 2.0 许可证发布，是一个 26B 的混合专家（MoE）模型，超越了典型自回归大型语言模型（LLM）逐词元顺序处理的方式。相反，它同时生成整块文本，在 GPU 上实现最高 4 倍的文本生成速度。

DiffusionGemma 基于我们 Gemma 4 系列业界领先的每参数智能水平以及前沿的 Gemini Diffusion 研究，集成了一个旨在最大化生成速度的新型扩散头。虽然自回归 Gemma 4 模型仍是高质量生产输出的标准，但 DiffusionGemma 专为探索速度关键的交互式本地工作流的研究人员和开发者而设计，例如行内编辑、快速迭代以及生成非线性文本结构。

为开发者释放新价值

构建实时交互式 AI 应用的开发者常常受困于本地推理的延迟瓶颈。DiffusionGemma 直接应对这些挑战，同时也带来一些关键权衡：

• 极速推理：通过将解码瓶颈从内存带宽转移到计算，DiffusionGemma 在专用 GPU 上实现最高 4 倍的词元输出速度。（在单块 NVIDIA H100 上每秒超过 1000 个词元，在 NVIDIA GeForce RTX 5090 上每秒超过 700 个词元）。 ¹
• 可及的硬件占用：作为一个总参数量 26B 的混合专家（MoE）模型，推理时仅激活 3.8B 参数，DiffusionGemma 在量化后可轻松适配高端专用消费级 GPU 的 18GB 显存限制。
• 双向注意力：每次前向传播并行生成 256 个词元，使每个词元都能关注所有其他词元。这为非线性领域带来了显著优势，例如行内编辑、代码填充、氨基酸序列或数学图。
• 智能自我纠错：该模型迭代地优化自身输出，使其能够一次性评估整个文本块并实时修正错误。
• 实验状态与生产建议：由于它优先考虑速度和并行布局生成，DiffusionGemma 的整体输出质量低于标准 Gemma 4。对于要求最高质量的应用，我们建议部署标准 Gemma 4。

你可以通过微调来提升 DiffusionGemma 在特定任务上的表现。在下面的示例中，Unsloth 微调 DiffusionGemma 来玩数独——这是一项自回归模型难以应对的任务，因为每个词元都依赖于未来的词元。DiffusionGemma 的双向注意力使这变得容易得多。

微调后的 DiffusionGemma 正在解数独。

为什么将扩散用于文本？

尽管 AI 研究界多年来一直在探索基于扩散的文本生成，但将其应用于大型模型仍是一项挑战。DiffusionGemma 通过改变模型使用硬件的方式改变了这一点。

与传统模型的权衡

大多数语言模型就像打字机一样，从左到右一次生成一个 token。在云端，这种方式很高效，因为服务器可以将成千上万的用户请求批量处理，以分担硬件负载。但在本地为单个用户运行时，这种逐词处理的过程会让你的专用 GPU 或 TPU 得不到充分利用——它大部分时间都只是在等待下一次“按键”。

DiffusionGemma 扭转了这种低效。它不再按顺序预测单词，而是同时草拟出整个 256 个 token 的段落。通过一次性给计算机处理器更大块的工作，DiffusionGemma 充分发挥你硬件的潜力。它将你的模型推理从一台顺序运行的单台打字机升级为一台巨大的印刷机，同时印出整个文本块。

Hugging Face 的 DiffusionGemma 文本转 3D SVG 演示。逐步生成。

这意味着 DiffusionGemma 的加速是为本地和低并发推理而设计的。在高 QPS 的云端服务中，自回归模型可以部署以高效地饱和计算资源，因此 DiffusionGemma 的并行解码带来的收益递减，并可能导致更高的服务成本。其吞吐量优势在单加速器上低到中等批量大小时最为明显。

文本扩散的工作原理

类似于 AI 图像生成器从视觉噪点开始，逐步将其细化为清晰图像，DiffusionGemma 将这一过程应用于文本：

1. 画布：模型从一块由随机占位 token 组成的画布开始。
2. 迭代细化：模型进行多轮处理，锁定正确的 token，并将它们作为上下文线索来细化其余部分。
3. 最终润色：文本收敛为高质量输出。

由于模型在生成时可以处理整个段落，它解锁了新的模型行为模式，例如完美闭合复杂的 markdown 格式，或近乎实时地生成和渲染代码。

立即开始

• 下载权重：现在即可在 Hugging Face 上获取实验性模型权重（以宽松的 Apache 2.0 许可证发布）。
• 集成与学习：在我们的DiffusionGemma 开发者指南中了解更多。或深入阅读DiffusionGemma 视觉指南，了解其底层机制。
• 使用你最喜欢的开发工具：使用 MLX、vLLM（集成由 Red Hat 支持）和 Hugging Face Transformers 高效地服务该模型。为了快速实验，我们发布了一个使用 Hackable Diffusion 的微调教程，这是一个为可组合性而设计的模块化 JAX 工具箱。你还可以探索使用 Unsloth 和 NVIDIA NeMo 进行微调。此外，对 llama.cpp 的官方支持也即将推出。
• 体验优化性能：我们与 NVIDIA 合作，在其硬件堆栈上进行了优化，确保兼容消费级配置（为 GeForce RTX 5090 和 4090 GPU 量化），同时在企业级系统上实现高性能（Hopper 和 Blackwell 使用先进的 NVFP4 内核），包括用于本地桌面部署的 NVIDIA DGX Spark 和 DGX Station，以及面向 AI 专业人士的 RTX PRO。对 NVFP4（4 位浮点）的原生支持加速了计算吞吐量，使模型能够以更快的速度运行，且精度几乎无损。
• 按你的方式尝试：在桌面专用 GPU 上运行，或通过 Gemini Enterprise Agent Platform Model Garden 或 NVIDIA NIM 在云端运行。