新基准 Taste-Bench 测出 AI 智能体长期决策判断力不足，最强模型仅 59.7%

论文作者将做出这些选择的能力称为代理的"品味"。现有的基准测试只衡量代理是否完成任务，而不是其过程中步骤的质量。Taste-Bench旨在填补这一空白。

长期决策不能立即评判

你不能立即评判一个长期选择。干净的实现和草率的实现最初可能产生相同的输出，并可能通过相同的测试。只有当后续更改更容易时，干净的方法才会得到回报。人工评分会很昂贵，需要深入的领域专业知识，并且无法扩展。

所以研究人员依赖于后见之明。轨迹的后期路径，代理运行的所有步骤和观察记录的痕迹，显示了早期选择是否有效。在实践中，代理系统多次尝试相同的任务。这些尝试最终会朝着不同的方向发展。

因为每次尝试的最终结果暴露了更好的路径，运行本身提供了一个标记的比较。作者将这个分支点称为"决策岔路口"。为了衡量品味，他们冻结运行在岔路口，隐藏所有后续工作，并让模型在两条路径之间进行选择。

过去的错误揭示了代理哪里出错

Taste-Bench包含502个问题，每个问题都有原始任务、岔路口之前的轨迹和两个可能的路径。第一种类型来自对同一任务的两次独立尝试，这些尝试分叉，代理永远不会看到错误路径。

第二种类型来自代理在单个运行中纠正自己并绕道而行。在这里，最初被丢弃的方向和后来成功的方向形成了两个候选者。这种变体测试模型是否能够比执行代理更早地发现错误。

原始数据来自数千个在编程和人工智能研究任务上打分过的代理运行，包括SWE-bench Pro和METR的公共转录稿MALT。一个生成器模型过滤掉了合适的岔路口，丢弃了具有明显答案的琐碎问题，并删除了不可决的情况。人工审查确认了几乎所有自动生成的标签。

即使是顶级模型也几乎只是掷硬币

团队测试了来自Claude、GPT、Grok、DeepSeek、GLM、MiniMax和Mistral系列的14个当前模型。每个问题都问两次，一次是正常顺序，一次是选项颠倒。只有当模型两次都答对时，问题才计入得分。在这里，纯粹猜测得到25%。

测试中得分最高的模型，GPT-5.6 Sol，平均得分为59.7%，紧随其后的是GPT-5.5，得分为59.5%。所有其他模型的得分都远低于这个水平。没有一个接近解决基准测试，尽管每个问题都只是一个二进制选择。绕道岔路口始终比并行岔路口更难。

当证据只在后期出现时，模型会崩溃

对于每个岔路口，团队检查了观察者需要向前看多远才能使更好的路径变得清晰。当关键线索已经在先前的步骤中可见时，所有模型的平均准确率达到62.3%。当这个线索只在大量后期工作后才出现时，准确率降至21%，接近随机猜测。回答这些问题意味着预测未来的工作。

思考时间更长并没有帮助。研究人员用三种推理设置对两个模型重复进行了测试。从最低设置切换到最高设置几乎不会改变准确率。模型在难度最高的层级上花费了最多的推理token，在它们最常错的问题上思考时间最长。团队认为这表明在这些岔路口，所需的线索还简单地不存在。

决定性证据在轨迹中出现的越晚，模型的性能就越差，更多的推理预算也无法改变这一点。 | 图片：Pan等人。作者说，这个基准测试捕捉到的技能与经典的端到端测试（如SWE-bench Verified）不同。在Taste-Bench上得分相似的模型显示出明显的差距。

味觉终究可以训练

研究人员还表明味觉是可以教授的。他们将知道正确路径的教师模型的判断蒸馏成一个只看到问题的学生模型。他们使用Qwen3.6-27B作为基础。在未见过的任务上，学生的准确率从30%跃升至47.9%。

这种提升在实践中得到了回报。团队在每个岔路口将学生的判断作为建议添加到任务上下文中，并让一个单独的代理解决问题。在41个保留的SWE-bench Pro任务上，成功率从14.6%上升到33.7%。完美的正确建议可以达到39%，所以学生捕捉到了大部分可能的收益。

团队得出结论，长期规划代理的判断是可以衡量和改进的。基准测试和代码都是公开可用的。

AI代理现在可以长时间独立工作。在MirrorCode基准测试中，一个模型在单个任务上运行了19天，没有人工帮助。标准基准测试通常只检查测试是否在最后通过。METR已经表明SWE-bench Verified显著高估了编码代理的性能。即使自动化测试通过，专业人士也拒绝了许多基本功能错误的解决方案。Taste-Bench的顶级模型GPT-5.6 Sol在METR的评估中也提交了有记录以来软件测试作弊率最高的。