Mistral 发布时序基础模型 Timestral：209M 参数登顶 GIFT-Eval、TIME、fev-bench

思考

摘要

Timestral 是 Mistral 的首款时间序列基础模型系列，仅需 209M 参数即可提供最先进的多变量概率预测，在关键基准测试中优于更大模型，同时支持过去和未来的协变量。提供四种尺寸（5M 至 209M 参数），在准确性和效率之间取得平衡，可在 CPU 上高效运行，并在零样本预测方面表现出色，适用于不同领域。该模型结合了合成预训练、协变量感知注意力和长上下文学习，并通过 Mistral Forge 提供领域自适应的微调选项。

今天，我们发布了 Timestral，这是我们首款时间序列基础模型系列。我们最大的模型仅含 209M 参数，在三个主要公共基准测试 GIFT-Eval、TIME 和 fev-bench 中均排名第一，仅使用三分之二的模型参数就优于之前的先进水平。

Timestral 提供概率多变量预测，并支持仅基于过去和已知未来的协变量。我们的模型系列位于预测准确性与模型尺寸的帕累托前沿，在每个尺寸下都提供领先性能。结果已提交至 GIFT-Eval 和 TIME 排行榜。

时间序列是企业中最常见的数据类型之一，从传感器遥测到可观察性指标。基于它的预测驱动着容量规划、能源、供应链、风险和维护中的决策。

工业工厂根据生产计划预测过程传感器，在设备故障前发现设备漂移，并规划数千个资产的容量和备件。财务团队预测流量、数量和波动性，以指导跨数千个账户的头寸、对冲和资金管理。

ARIMA 和线性回归等经典模型仍然是预测时间序列的成熟工具。这些模型通常拟合单个序列，并仅从该序列的历史中学习。

像 PatchTST 这样的深度学习模型增加了学习许多相关序列之间非线性模式的能力，但它们通常仍然在每个数据集上从头开始训练，因此它们学到的知识不会转移到新领域。

时间序列基础模型将预训练方法应用于时间序列。在大量多样化语料库上训练，我们的模型学习可在序列间转移的模式，在它从未见过数据的领域进行零样本预测，即使数据稀缺。

基准测试结果

我们在三个主要公共预测基准 GIFT-Eval、TIME 和 fev-bench 上评估了 Timestral。在预训练、零样本模型中，它在所有五个指标中均排名第一。这些结果来自单个检查点，未使用集成。

GIFT-Eval，83 个可比预训练和零样本条目中的前十分名。越低越好。

TIME，35 个排行榜条目中的前十分名。在两个指标上越低越好。

fev-bench，37 个排行榜条目中的前十分名，按 SQL 技能分数。越高越好。

针对每种规格优化的模型系列

Timestral 作为一个包含四种模型的系列进行了优化：5M、28M、123M 和 209M 参数。较大的模型提高了预测性能，而较小的模型更快、更便宜。四个模型共享相同的架构和训练配方。每种尺寸都位于准确性与模型尺寸的帕累托前沿：对于每种模型尺寸，没有公共模型能预测得更好。

在 GIFT-Eval、TIME 和 fev-bench 上的模型大小与分数对比（显示为 1 减去技能分数）。越低越好。我们的 28M 模型在 GIFT-Eval 和 TIME 上优于 Chronos-2，后者大约是其四倍大。我们的 209M 模型在参数更少的情况下优于 TimesFM-3 和 Falcon-2.0。

Timestral 在推理时不需要 GPU。在一台具有 8 个线程的标准服务器 CPU 上，使用 5M 模型从三周的 15 分钟历史数据中预测一天 ahead 需要 10 ms，而使用 209M 模型则需要 140 ms。较小的模型为了速度牺牲了一些精度：28M 模型比 209M 模型快五倍，而 123M 模型的延迟只有 209M 模型四分之三，但准确率在 0.2% 以内。

一个工业实例

考虑一个拥有数千个传感器的工业工厂。Timestral 可以通过多种方式改进该数据的预测。

多变量预测。 泵的振动、温度和压力不会独立移动。一个参数的上升往往能解释或引起另一个参数的变化。Timestral 联合建模相关序列，因此它可以利用这些依赖关系，而不是孤立地预测每个传感器。

概率预测。 单个预测值可能无法展示全貌。Timestral 预测一套完整的分位数，因此团队可以看到不确定性的范围，设置反映不确定性的警报阈值，并围绕风险而不是单个数字来计划维护。

分类协变量。 一些协变量从一组类别中取值，而不是连续数字，例如星期几，或机器的状态（运行、空闲、维护中）。将它们编码为数字会强加它们没有的顺序或比例。Timestral 直接将它们作为分类输入来改进预测。

已知未来协变量。 一些驱动传感器行为的因素可以提前知道，例如生产计划、计划停机、天气预报。Timestral 可以根据它们来改善预测质量，因此计划中的负载增加是预期的，而不是被标记为意外。

从模型到系统

Timestral 是一个数值模型，可以运行在现有的监控管道中，或与我们的语言模型在多模态代理工作流程中配对。

在工厂中，这可能看起来像这样：

1. Timestral 在工厂的传感器流上持续运行，检测异常情况。

2. 当它在一个泵上标记出异常时，一个代理嵌入信号，并与过去传感器数据的嵌入进行比较，以找到相似的历史故障。

3. 然后代理启动子代理进行根本原因分析，利用来自该工厂的上下文，例如维护记录、交接班日志、操作员笔记、设备手册、过去的工作订单以及相关设备的读数。

4. 代理根据发现起草一个建议的诊断，附带支持证据和可能的下一步行动。

工厂经理得到一个由传感器数据支持的诊断和计划，而不仅仅是一个警报。

关键技术贡献

几个想法被结合在一起以产生这些结果。每个想法将在技术报告中详细描述。

1. 解耦预测范围. 像Toto 2.0和TimesFM-3那样，使用连续块掩码训练的因果解码器会遮盖需要预测的值，使其看起来像缺失值，并在后续预测中丢失这些值作为上下文。我们的方法DHF将两者分开：完整历史记录保留在序列中，学习的预测标记在它们之前读取历史记录。因此，每个观测值都既作为目标也作为上下文，真正的空缺仍然被标记为缺失，训练预测范围长度和缺失数据增强可以独立于彼此进行调节。

2. 协变量感知注意力. 每个输入序列被分配一个角色：目标变量、仅过去的协变量或已知未来协变量。已知未来协变量在整个窗口中可见，而目标保持因果性，信息只从协变量流向目标。因此，Timestral可以使用假日日历或天气预报，而不会泄露目标自己的未来到其预测中。

3. 合成数据优先. 大部分训练数据是合成的。我们首先生成了具有连贯时间动态的单变量过程，包括趋势、季节性和多样的噪声模式。然后，我们使用多变量合成器通过在这些过程之间引入非线性依赖关系来构建多变量序列。

4. 两阶段训练. Timestral首先在纯合成数据上以8192的上下文大小进行大规模预训练，然后在真实和合成数据的混合上进行后训练，上下文长度更长4倍。目标是21个分位数的球损失，是CRPS的离散近似。

一个可以适应的模型

公共基准测试衡量一般性能，但生产数据在行为和结构上可能差异很大。它也可能随着市场变化模式、设备老化和需求模式的变化而随时间变化。持久价值在于能够将模型适应领域内数据并随着分布的移动而不断重新训练它。

对于希望更进一步的组织，Timestral可以通过Mistral Forge获得，这是我们用于语言模型的相同训练管道。它支持：

• 开箱即用的零样本推理。

• 架构扩展，例如特定领域的协变量。

• 在专有数据上进行微调，专注于一个领域，同时保持一般性能。

• 对训练数据的控制，包括调整训练混合、重放预训练数据以及生成合成数据样本以反映目标领域。对数据的完全控制确保了我们回测的任何内容在预训练期间都没有见过。

整个管道可以部署在客户的硬件上，包括隔离环境。

下一步

我们已经发布了一个GitHub仓库，以便您可以在自己的数据上运行Timestral。完整的报告将随后发布。对于更专业的预测问题，或希望与研究合作，请联系我们。