英伟达研究：长上下文并非必需

长程任务需要执行许多步骤，长输入任务需要处理大量材料，但这是否意味着模型必须始终保留长上下文？ 英伟达研究发现，完成长上下文任务并不需要长上下文。 研究团队通过频繁压缩历史和选择性读取输入，检验模型能否在短上下文中完成长程与长输入任务，并提出语义状态空间模型（SSSMs）的概念。 在所测试的多种任务中，保持短上下文带来的准确率损失很小或没有损失。 即使每段上下文最多执行一次动作，模型在长程软件工程任务中的表现也没有崩溃。

研究关注长上下文的实际开销，发现主流注意力架构中，生成一个 token 所需的计算量随其在上下文中的位置增加而增长，位置靠后的 token 生成成本更高，成本差异最高可达 7 倍。 长上下文会增加生成开销，但模型的上下文窗口持续扩大，能够容纳的文本规模已超过许多长篇作品。 研究提出三个研究问题：长程任务能否在没有长上下文的情况下完成，长输入任务能否在没有长上下文的情况下完成，以及当每段上下文最多执行一次动作时，模型能否完成长程任务。

研究采用对话末尾压缩和选择性读取，发现模型无需持续保留全部交互记录，也能维持接近原有水平的任务表现。 长输入任务通过选择性读取控制当前上下文，在几乎所有测试情形中都能达到或超过一次性输入完整材料的基线。 单动作压缩大致保持基线准确率或取得更高准确率，模型在长程软件工程任务中的表现没有崩溃。 SSSMs 通过紧凑的语义状态衔接连续动作，长程任务通过压缩减少历史积累，长输入任务通过选择性读取控制当前上下文，单动作压缩检验紧凑状态能否支持连续执行。

研究认为，在所测试的设置中，长输入和长交互过程本身，都不足以构成长上下文必不可少的理由。 通过有组织的状态维护与选择性访问，模型能够保持较短的上下文，同时维持接近或更高的任务准确率。