IBM 研究：你的智能体到底需要多少记忆？

在上一篇文章中，我们将 ALTK-Evolve 与 ACE 进行了对比，并展示了如何传递智能体自我蒸馏出的指南——每个任务检索几条，还是注入整套——会同时影响准确率和成本。本文退回到更靠前的问题：应该给它多少？

为智能体配备智能体记忆听起来很简单：从它过去的工作中提炼经验，放回上下文中，经验越多性能就应该越好。但事实并非总是如此。当我们将评估扩展到 八个模型——从 30B 稠密模型到前沿专有系统——一个发现格外突出：

智能体记忆不是一个打开就用的功能。它是一剂需要根据模型校准的剂量。

TL;DR

• ALTK-Evolve 让智能体从自身过去的轨迹中学习：蒸馏出可复用的指南，并在推理时注入回去，无需更新权重，也无需人工标注。

• 合适的剂量因模型层级而异：有余力的强模型想要完整的指南集，较弱的模型在紧凑核心加按任务检索时表现最佳，而已经饱和的模型则没有可测量的增益。

• 精选检索可以既最准确又最便宜：gpt-oss-120b 在仅增加 5% token 的情况下，任务完成率提升了 +16.1 个百分点——而提示缓存让即使完整的指南集在生产中也负担得起。

关键洞察：剂量取决于能力

并非每个模型都能从相同数量的记忆中获益。在跨越能力谱系的八个模型中，我们看到了三种反复出现的模式：

• 有余力的强模型想要完整的指南集——每一条指南，包括罕见的边缘情况经验。它们有能力吸收并应用全部内容。DeepSeek-V3.2（671B MoE）在获得其完整的自挖掘指南集后，任务完成率提升了 +9.5 个百分点。

• 较小或较弱的模型会被庞大的指南集淹没。对它们来说，一个紧凑、高置信度的核心，加上每个任务检索到的少量相关指南，效果最好。gpt-oss-120b（117B MoE）通过这种选择性方法获得了 +16.1 个百分点的提升——而完整的指南集提升更少，且多消耗约 50% 的 token。

• 已经饱和的模型没有可测量的增益。我们称之为饱和模式——这个标签描述的是我们观察到的现象，而非已证实的成因。该模型可能在这些任务上已经接近其上限，指南可能没有解决它剩余的失败，或者它可能没有有效地应用这些指导。GLM-5（745B MoE）在我们的运行中处于这一模式。

决定一个模型落入哪种模式而非另一种的，并不只是参数数量。基准测试的余量、上下文窗口大小、架构、指南质量以及任务分布，似乎都会影响模型的归属，而区分这些因素仍是正在进行的工作。无论如何，实际结论都成立：合适的记忆剂量取决于模型，而我们可以对它进行校准。

学习发生在模型周围，而不是模型内部

这里的“记忆”并不意味着重放过去的对话记录。它指的是一个指南集——从智能体自身先前的轨迹中蒸馏出的有效策略、要避免的错误以及边缘情况。这个循环很直接：

1. 智能体尝试执行任务并生成轨迹。

2. ALTK-Evolve 从其成功和失败的运行中提取行为准则。

3. 它将这些准则整合为一套可复用的集合。

4. 在推理时，智能体接收完整的准则集或与任务相关的准则子集。

不更新任何模型权重。这个学习循环改变的是智能体可用的指导，而非底层模型——这正是它易于采用且在我们测试的八个模型间可移植的原因。

跨模型谱系的结果

我们在 AppWorld 上进行了评估——涵盖 9 个模拟应用（日历、消息、支付等）的 585 个多步骤任务（168 test_normal + 417 test_challenge）。任务按两种方式评分：智能体是否完整完成每个任务（TGC——任务目标完成率），以及某个场景的每一个变体是否都通过（SGC——场景目标完成率，一种更严格的全有或全无标准）。完整定义见附录。

我们比较的三种配置

由于任何记忆研究中最令人困惑的部分是上下文窗口中实际有什么，我们预先定义这些配置。

两种记忆配置都取自同一套准则集，该准则集仅通过上述循环从 AppWorld 的训练集中挖掘一次。它们之间的区别仅在于这一套准则如何被传递——完整准则集在每一步注入全部准则，而精选检索则传递一个选定的子集——绝不涉及准则如何生成，且构建过程中从不使用测试集数据。

一个模型挖掘出的准则数量取决于其自身能力，因此我们按策略——即“完整准则集”与“精选检索”——来报告配置，而非按原始数量，因为原始数量在不同模型间不可比较。

三种模式，一图概览

来自八模型扫描的代表性模型，以 test_normal 上的任务完成率（TGC）衡量：

图 1. 三种观察模式中的代表性模型。柱状图显示基线对比最佳记忆配置在 AppWorld test_normal 上的 TGC；x 轴从 40% 开始以便差异可见。仅 TGC 会低估更大的 SGC 增益——见下表中的 SGC 列。

图中绘制 TGC 以保持可读性；表中增加了更严格的 SGC 指标，其增益通常更大：

阅读 SGC 一列，更严格的指标通常比 TGC 变动更大——DeepSeek 的 SGC 跃升 +16.1pp，而 TGC 提升 +9.5pp——因为好的指南尤其能帮助智能体通过某个场景的每一个变体，而不仅仅是平均情况。而且这种效应在区间顶部也没有消失：GPT-5.5 和 Opus 在 TGC 上都接近上限，但仍分别获得 +7.2 和 +7.1pp SGC 的提升。只要模型还有剩余失败模式可以针对，记忆就会持续带来回报。

最便宜的记忆策略也可能是最好的

一个实际顾虑：注入完整的指南集会膨胀每个 ReAct 步骤的输入，因为指南每一轮都会被重新发送。以下是我们观察到的结果：

表 1. 每个任务的平均 token 用量，跨智能体步骤累计，与无记忆基线对比。

两个要点：

1. 精选检索让成本接近基线。对于较弱的模型，选择在准确率上胜出，在成本上也胜出——两全其美（gpt-oss-120b 仅增加 +5% token 就获得 +16.1pp TGC）。在这里更好的表现并不需要更高的推理成本。

2. 记忆不会让推理循环爆炸。DeepSeek 在有记忆和无记忆时运行的 ReAct 步骤数大致相同（平均约 18–19 步），因此增加的成本是输入 token 膨胀，而不是更长的轨迹。

生产中真正的效率杠杆是提示缓存：指南集的静态部分在各步骤间完全相同，可以被缓存，从而大幅降低有效成本。缓存感知的提示设计——保持共享指南集前缀稳定以便可缓存——值得投入工程。我们还假设上下文窗口大小也起作用：窗口更大的模型可能更有效地吸收完整指南集，而上下文较小的模型则更能从保持注入内容紧凑的检索中受益。我们尚未进行隔离这一因素的对照实验。

记忆应当被校准，而非仅仅累积

教训不是把智能体学到的一切都给它，而是给它实际能用得上的经验量。

• 对于弱模型，这意味着一个紧凑的核心加上少量任务特定的经验——顺便说一句，这也是最便宜的选项。

• 对于有余力的强模型，这意味着保留完整指南集，并通过提示缓存在生产中保持可负担。

• 对于饱和的模型，这意味着在更好地理解其剩余失败模式之前，不花费额外的上下文。

这些收益在所有情况下都是真实的——自动、无泄漏、无需人工标注——但前提是剂量适合模型。

下一步

这是一个起点，而非终点：

• 学习型选择器。我们当前的检索按余弦相似度对指南排序，我们已经证明这并不能完美预测哪些指南对给定任务有帮助。基于结果信号训练的选择器是自然的下一步。

• 面向极弱模型的记忆。低于最低能力基线时，自蒸馏缺乏信号。面向极弱模型的教师蒸馏记忆是我们正在探索的另一个独立问题。

• 超越 AppWorld。这些结果在 AppWorld 上得到验证——这是一个严格的多步基准，但仅是单一基准。更广泛的智能体基准和真实世界部署正在进行中。

• 隔离上下文窗口。如上所述，我们希望进行受控实验，将上下文窗口大小与原始能力分离开来。

试用 ALTK-Evolve 库——其中包含此处使用的提取、整合和检索流水线——或阅读完整技术报告，了解完整方法和消融实验。

附录：理解指标

AppWorld 任务由两个指标评分，均以百分比报告（越高越好）：

• TGC——任务目标完成率。智能体完全且正确完成的单个任务所占比例。这是核心的“它是否完成了任务”数字。

• SGC——场景目标完成率。一个更严格的全有或全无指标。每个场景捆绑了同一任务的多个变体（相同请求，但数据、措辞或边缘条件不同）。只有当智能体在每一个变体上都成功时，SGC 才将该场景计为通过。它衡量的是可靠性——一个大多数时候能解决任务但在某个变体上失败的智能体，会在 TGC 上得分，但不会在 SGC 上得分。