JetBrains 发布 Mellum2：12B 混合专家模型

• Mellum2 是一个 12B 参数的混合专家模型，从零开始在自然语言和代码上训练。
• 该模型每个 token 仅激活 2.5B 参数，使其在高吞吐、低延迟推理方面高效。 Mellum2 可用于路由、RAG、摘要、子代理、高吞吐编码功能和私有部署。
• 它基于 Apache 2.0 许可证发布。
• 与同等规模的模型相比，Mellum2 在实现超过 2 倍推理速度的同时，提供了具有竞争力的基准性能。
• 在 Hugging Face 上下载该模型：https://huggingface.co/collections/JetBrains/mellum-2
• 有关架构细节、训练设置、基准和评估方法，请阅读完整技术报告：https://arxiv.org/pdf/2605.31268

今天我们发布 Mellum2，这是一个为低延迟文本和代码工作负载优化的开放混合专家模型。 Mellum 最初是一个代码补全模型。通过 Mellum2，我们将这一基础扩展到更广泛的自然语言和软件工程任务，同时让模型专注于高效推理和可部署性。 现代 AI 系统越来越依赖多次模型调用：路由、检索、摘要、规划、验证和工具使用。其中许多操作对延迟敏感，且不需要可用的最大模型。 Mellum2 正是针对这些工作负载。

基准亮点

在我们的技术报告中，我们在代码生成、推理、科学和数学基准上评估了 Mellum2。 Mellum2 与同等规模的开放模型相比具有竞争力，同时提供超过 2 倍的推理速度，使其适用于高吞吐生产工作负载。 模型架构 Mellum2 是一个混合专家模型：

MoE 架构在保持总模型容量较高的同时，每个 token 仅激活一部分参数。这使推理更高效，并有助于降低实时工作负载的服务成本。 Mellum2 有意专注于文本和代码，而非多模态任务。这种专业化使模型在软件工程工作负载中保持紧凑和高效。

关键用例

路由与编排

Mellum2 非常适合作为多模型系统中的轻量级路由和编排模型，包括提示分类、工具选择和中间控制流步骤。

RAG 流水线

该模型非常适合延迟敏感的检索流水线，包括上下文压缩、摘要和检索后处理。

子代理

Mellum2 可用于代理子任务，如规划、验证、转换和上下文准备，减少为中间操作调用更大模型的需求。

私有部署

由于 Mellum2 是开放的且服务高效，它可以部署在涉及专有代码或内部数据的自托管环境中。

为什么范围明确的模型很重要

随着 AI 系统日趋成熟，最有效的架构正变得不再那么单一。 单个前沿模型可以很强大，但生产系统往往需要多个专门组件协同工作：检索器、路由器、代码感知模型、验证器、工具调用器，以及更大的推理模型。 我们将 Mellum2 视为一个“焦点”模型：一个快速、范围明确的模型，针对大型 AI 系统中的高频任务进行了优化。 目标不是取代技术栈中的每一个模型。目标是让整个技术栈更快、更便宜、更易于控制。

Mellum2 入门

如果你正在为软件工程构建 AI 系统——无论是在 IDE 中、在 RAG 流水线中、作为智能体工作流的一部分，还是在私有基础设施上——Mellum2 都可供试用。