MemT 1.0 开源模型快速出圈

近日，记忆张量 MemTensor 正式推出并开源记忆原生基础模型 MemT 1.0 系列。 MemT 1.0 将持续存在、能够更新的内部记忆纳入模型计算，让历史信息与任务经验能够被保留，并在后续相关任务中调用。 本次发布包括 MemT-1.0-Flash 与 MemT-1.0-Nano，参数规模分别为 288B、36B，激活参数分别为 17B、3B。 在 11 项记忆基准上，两款模型的平均得分分别为 50.6、47.0，位列本次评估的参数化记忆方法第一、第二；

这些结果均在查询上下文不提供原始历史文本的条件下取得。 10 月 20 日上线开源平台 Hugging Face 后，日均下载量已超过 1 万次，累计下载量破 10 万次，在大尺寸架构创新模型中处于领先地位。 把记忆做成原生能力的开源模型，正在开发者中快速出圈。 基础模型正在将推理、多模态等能力内化到自身，记忆是另一项关键能力。 它让模型能够承接此前的信息与经验，在持续交互中积累并使用这些信息。 此前，Metis 提出了记忆基础模型，探索将记忆作为模型的原生能力。

MemT 1.0 在此基础上升级：在选定的 Transformer 模块中加入原生记忆模块，使原有注意力与记忆注意力并行运行，通过动态局部记忆和可训练的超记忆，共同支持信息存储与使用。 MemT 1.0 的记忆机制围绕三个关键支点展开：逐 token 稳定更新采用基于 Gated DeltaNet-2 的稳定更新机制，在每轮交互结束后的存储过程中，逐 token 更新记忆，通过擦除、写入与遗忘机制，将新信息融入已有记忆。

混合存储扩容引入 Mixture-of-Storage（MoS），将原生记忆模块扩展为多个记忆专家，通过独立的存储与使用路由分配信息。 MoS 采用所有专家共同参与的稠密路由，为记忆容量扩展提供机制； 本次主评测模型每个记忆层使用一个专家，多专家扩容另行开展对照实验。 两阶段训练通过持续预训练建立依赖记忆原生的语言建模能力，再通过后训练学习基于记忆完成任务。 报告构建了 340 亿 token 的训练语料，其中持续预训练语料 200 亿、后训练语料 140 亿。

后训练采用“上下文—查询—回答”格式，让学生模型仅凭记忆状态学习完整上下文教师的回答行为。 记忆原生模型既要用好历史信息，也要在记忆噪声下保持原有能力。 我们从记忆能力与通用能力两个方面，评估了MemT 1.0的实际表现。 在查询上下文不提供原始历史文本的条件下，MemT-1.0-Flash、MemT-1.0-Nano 的平均得分分别为 50.6、47.0，位列本次评估的参数化记忆方法第一、第二，比其他参数化记忆方法的最高平均分分别高出 12.5 分、8.9 分。

两款模型各有侧重：Flash 在记忆操作、个性化理解、对话回忆和隐式学习方面表现更强； Nano 在 PerMemSafe、Memora 上得分更高。 最强文本记忆系统整体仍有优势，尤其是在长历史测试中。 模型还需要应对无关记忆的干扰。 我们在评估前向记忆中写入无关信息，模拟持续交互中的干扰情形，并在知识与科学推理、指令遵循、长上下文理解和代码生成四个维度、六项基准上，与同一噪声设置下的对应主干模型进行比较。 Flash 的平均分与对应主干基本持平，Nano 下降了 0.9 分。

首先是指令遵循：模型能否准确执行当前要求。 在无关信息下，Flash 相对对应主干提高 0.9 分，得分达到 93.9 分； Nano 提高了 3.3 分，达到 92.6 分，表明两款模型在这一测试中仍能较好地执行当前指令。 其次，是大家关心的实用编程：生成的代码能否真正完成任务。 在这一测试中，Flash 和 Nano 相各自主干模型，均提高 2.0 分，分别达到 34.4 和 27.7 分。

不过，另一项代码测试 LiveCodeBench v6 分别下降 0.7 分、5.8 分，说明不同类型编程任务受到的影响存在差异，不能将单项改善扩大为编程能力的全面提升。 长文本理解关注：面对大量材料，模型能否理清信息并回答问题。 在无关信息的干扰下，Flash 相对主干提高 0.2 分，得分达到 64.4 分，整体表现接近； Nano 则下降了 2.0 分。 内部记忆对历史信息的保留，与模型对当前长篇材料的理解，需要分别检验。 这些结果表明，记忆能力与通用能力可以在整体上兼顾，但部分任务仍存在性能损失。

让模型在持续积累信息的同时保持可靠表现，是记忆原生模型需要持续优化的方向。 MemT 1.0 探索大模型能力增长的新路径是在参数、数据与上下文之外，让有效经历得到保留，并在后续任务中发挥作用。 在 Coding Agent 中，问题复现方法、失败模式和验证流程等操作经验，经检索后写入模型内部记忆，再指导后续动作，无需持续以文本形式占用任务上下文。 当前实验使用外部构建的经验库，并在 Nano 基础上进行应用专项后训练。

在 SWE-bench Verified 的 500 项任务和 SWE-bench Multilingual 覆盖九种编程语言的 300 项任务上，对比无经验、文本经验和记忆原生方式，每项任务独立执行三次。 在 Verified 方面，任务开始时提供经验，Nano 将平均成功率从 66.07% 提高到 69.33%，文本经验为 68.87%。 由执行框架在关键断点触发经验写入时，平均成功率达到 69.73%，三次全部成功的任务比例从 54.00% 提高到 62.80%，提升 8.80 个百分点。

在 Multilingual 方面，执行框架触发设置下的平均成功率为 63.56%，高于无经验的 60.00% 和文本经验的 63.00%； 三次全部成功的任务比例从 45.33% 提高到 55.33%。 收益主要体现在平均成功率和重复执行的一致性，三次至少成功一次的比例并未持续提高。 这里，我们用一个简单的游戏实验来帮助理解对比有无记忆原生时的迷宫探索表现，展示 MemT 1.0 如何借助历史成功经验，提升下一轮探索效率。 视觉呈现经过美化。

存储运行效率：持续积累，状态可控固定记忆配置下，新信息更新现有矩阵，持久化状态大小不会随历史持续扩大。 主评测配置中，Nano 每条交互轨迹的 FP32 记忆状态为 40 MiB，Flash 为 1,280 MiB，不包含共享模型权重和当前轮 KV 缓存。 在 BEAM 历史的效率评估中，128K token 历史长度下，Nano 相比完整上下文方式实现约 1.86 倍端到端推理速度，持久化状态约为其 1/66； 256K 历史下，端到端速度约为其 3.99 倍。

完成历史准备后，在 512 至 256K token 的评估范围内，Nano 的平均查询首 token 延迟约为 104—112 毫秒，基本保持稳定。 端到端延迟包含历史准备及固定 128-token 回答的生成； 查询首 token 延迟不包含历史准备。 这些优势主要体现在长历史场景，短历史下 Nano 通常更慢。 固定状态也意味着有限的信息容量； 总存储仍随会话数量和配置容量增长。 上述效率实验不能直接等同于编程任务成本下降，经验写入和额外验证仍有开销。 局限性在于，记忆原生模型的固定容量记忆