Apple 首次从零预训练三模态掩码扩散模型，3B 规模覆盖文本、T2I 与 T2S
The Design Space of Tri-Modal Masked Diffusion Models
Apple 研究团队首次从零预训练三模态掩码扩散模型（MDM），在文本、图文和音频-文本数据上统一训练，并系统分析多模态缩放规律、模态混合比例、噪声调度与批大小影响。
作者Louis Béthune, Victor Turrisi, Bruno Kacper Mlodozeniec†**, Pau Rodriguez Lopez, Lokesh Boominathan, Nikhil Bhendawade, Amitis Shidani, Joris Pelemans, Theo X. Olausson‡**, Devon Hjelm, Paul Dixon, João Monteiro, Pierre Ablin, Vishnu Banna, Arno Blaas, Nick Henderson, Kari Noriy, Dan Busbridge, Josh Susskind, Marco Cuturi, Irina Belousova, Luca Zappella, Russ Webb, Jason Ramapuram§**
离散扩散模型已成为自回归语言模型的有力替代方案，近期工作通过初始化并微调一个基础单模态模型来实现双模态生成。
与以往方法不同，我们引入了首个在文本、图文和音频-文本数据上从头预训练的三模态掩码扩散模型（MDM）。
我们系统分析了多模态缩放定律、模态混合比例、噪声调度、批大小效应，并提供了优化的推理采样默认值。
我们的批大小分析提出了一种基于随机微分方程（SDE）的新重参数化方法，消除了近期工作中所报告的对最优批大小进行调参的需求。
该重参数化将物理批大小（通常基于计算资源选择，如 GPU 饱和、FLOP 效率、实际耗时）与逻辑批大小（用于在随机优化中平衡梯度方差）解耦。
最后，我们预训练了一个初步模型，展示了统一设计的潜力，在 3B 模型规模（6.4T tokens）下于文本生成、T2I 任务和 T2S 任务中均取得强劲结果。
我们的工作是迄今为止对多模态离散扩散模型开展的最大规模系统性开放研究，为跨多种模态的缩放行为提供了宝贵见解。
- † 剑桥大学
- ‡ 麻省理工学院
- § Google DeepMind
- ** 在 Apple 期间完成的工作
相关阅读与更新。
离散扩散是建模和生成离散数据的一个有前景的框架。在本工作中，我们提出了目标具体分数匹配（TCSM），这是一种用于训练和微调离散扩散模型的新颖且通用的目标函数。TCSM 提供了一个具有广泛适用性的通用框架。它支持直接从数据样本预训练离散扩散模型，许多现有的离散扩散方法自然作为……出现
*同等贡献者
在批大小之间保持训练动态是实用机器学习的重要工具，因为它能够在批大小和实际耗时之间进行权衡。这种权衡通常通过缩放规则实现；例如，在随机梯度下降中，学习率应随批大小线性缩放。另一个重要的机器学习工具是模型 EMA，即目标模型的一个函数副本……
来源：Apple Machine Learning Research · machinelearning.apple.com