Apple 与约翰霍普金斯提出 SelfCompact：让语言模型智能体自行决定何时压缩上下文

作者Tianjian Li†、Jingyu Zhang†、William Jurayj†、Xi Wang†、Chuanyang Jin†、Mehrdad Farajtabar、Eric Nalisnick†、Daniel Khashabi†

由思维链和工具调用构成的长智能体轨迹会累积过时内容，这些内容会锚定后续生成，并最终超出上下文窗口。现有脚手架通过在 token 阈值处触发固定间隔压缩来缓解这一问题。

此类触发机制不考虑轨迹结构，存在在推导中途或搜索中途丢弃部分结果的风险。我们提出 SELFCOMPACT，一种允许模型自身决定何时以及如何压缩的脚手架。

具体而言，它将两个推理时元素配对：(i) 模型调用的压缩工具，用于总结累积的上下文；(ii) 一个轻量级评分规则，规定何时触发（子任务已解决，或轨迹正在收敛）以及何时抑制（推导中途，或陷入困境时）。

两者缺一不可。仅靠工具在开放权重模型中使用不均衡，常常在无益的时刻被调用，或者根本不被调用；仅靠评分规则则无法采取行动。二者结合，无需任何微调或外部监督，即可激发出有效的自适应压缩。

我们展示了在六个基准（竞赛数学和智能体搜索）和七个模型上的实证结果。

我们的结果表明，SELFCOMPACT 以极低的 token 成本达到或超过固定间隔摘要，在数学任务上比无摘要基线提升最高 18.1 分，在智能体搜索上提升 5–9 分，同时每题成本降低 30–70%。

我们的结果揭示了一个元认知差距：尽管未经提示的模型无法可靠判断自身上下文何时在腐化，但一个轻量级评分规则可以弥合这一差距，将何时压缩重新定义为脚手架无需训练即可提供的能力。

• † 约翰斯·霍普金斯大学

相关阅读与更新。

在多样化的交互环境中联合训练单个 LLM 智能体，作为通往通用智能体的路径，已引起越来越多的关注。现有的课程和数据选择策略通常按环境级别分配训练，或优先考虑基于局部奖励的信号，而没有在提示组选择时明确考虑当前各环境 rollout 之间的关系。与此同时，随着环境被学习……

阅读更多

为开放域问答设计有效的奖励信号具有挑战性，因为高质量回答必须同时满足答案质量的多个方面，而这些方面难以用整体标量目标来捕捉。我们引入一个基于评分规则的奖励框架，该框架生成以检索证据为依据、分解为多个质量维度的查询特定评分规则，在……期间提供细粒度监督

阅读更多