跳到正文
原文
北京智源研究院· hyper.ai·· 16 天前精选AI 评分80

8篇论文聚焦Agent Harness新进展

论文周报丨8篇论文聚焦Agent Harness新进展,覆盖编程智能体/具身控制/图像视频生成

AI 摘要

随着AI Agent从简单问答走向复杂任务执行,Agent Harness作为连接大语言模型、工具与执行环境的运行框架,逐渐成为智能体研究的重要方向。近期研究从不同角度探索Harness的设计、评估与优化

正文 · 中文整理稿

随着 AI Agent 从简单问答走向复杂任务执行, Agent Harness 正逐渐成为智能体研究中的重要方向。它是连接大语言模型、工具与执行环境的运行框架,负责组织任务流程、管理上下文与记忆、协调工具调用,并处理执行过程中的错误与结果验证。简单来说,模型决定 Agent 能够思考什么,而 Harness 则在很大程度上影响这些能力能否转化为稳定、可靠的实际行动。

为什么 Harness 越来越受到关注?随着模型推理与生成能力不断提升,智能体面临的挑战已不再只是生成正确答案,还包括如何连续完成多步骤任务、如何减少错误操作、如何适应不同的执行环境,以及如何在自主行动过程中控制风险。 Harness 正从支撑模型运行的基础框架,逐渐发展为影响 Agent 执行效果、应用边界与安全性的关键基础设施。

围绕这些问题,近期越来越多的研究开始从不同角度探索 Harness 的设计、评估与优化:有研究通过受控实验分析规划、工具和上下文管理的作用;有研究在终端操作、机器人控制和视觉生成中探索更可靠的执行机制;也有研究将目光投向安全约束、自动构建与递归自我改进,尝试让 Harness 不仅能够运行,还能根据任务反馈持续优化。

本期,我们精选 8 篇 Agent Harness 相关研究, 汇集了来自 NVIDIA、Google Cloud AI Research,以及西北大学、中国科学技术大学等高校与研究机构的相关探索,覆盖框架设计、执行控制、具身智能、视觉生成、安全治理、工程能力评测、递归优化与自我进化等方向。

1 Ha rness Design for Codin g Agents 这项研究对编码智能体的 Harness 设计展开系统性实证分析,重点考察在底层模型保持不变的情况下,不同运行机制如何影响任务表现。研究人员围绕规划机制、动作空间和上下文管理三个核心组件开展受控实验,尝试厘清 Harness 各组成部分对任务成功率、执行效率与资源成本的具体影响,从而避免仅凭完整系统的最终表现判断某种设计是否有效。

编码 Agent 的 Harness 主循环 + 上下文管理策略 研究团队在 SWE-Bench Verified 和 Terminal-Bench 2.1 等基准上开展了多组匹配实验。结果显示,上下文管理对于长程任务尤为重要,合理处理历史信息能够减少上下文溢出带来的失败;规划机制则会因模型能力不同而产生不同收益,工具接口的选择同样需要结合模型特点进行调整。研究表明,Harness 并非组件越多越好,而应根据任务需求、模型能力与资源预算进行设计,为后续开展可量化的 Harness 优化研究提供了实证基础。

2 Mid-Harness 来自 NVIDIA、韩国科学技术院(KAIST)等机构的研究人员提出 Mid-Harness,探索如何在大语言模型与执行框架之间加入动作采样和验证机制,提高终端智能体的执行可靠性。传统终端 Agent 通常直接执行模型生成的命令,但错误操作可能改变运行环境,影响后续任务,即使模型本身具备生成更优命令的能力,也未必能够在第一次尝试中给出最佳选择。

Mid-Harness 会在真正执行前生成多个候选动作,再通过验证器比较和筛选,以降低不当操作对任务进程的影响。研究团队围绕候选动作的采样方式、验证器的选择及不同执行策略开展实验,分析在模型与 Harness 之间分配额外计算资源的实际价值。研究表明,增加候选动作并不必然带来收益,其效果取决于验证器能否识别更优的操作;合适的比较与筛选机制则能够提升动作质量,并改善整个任务轨迹的成功率。

3 Show-Harness 研究人员提出 Show-Harness,旨在解决视觉语言模型(VLM)如何将视觉理解与语言推理能力转化为实际机器人操作的问题。传统机器人系统通常需要专门训练视觉—语言—动作模型,或依赖独立控制器执行高层模型生成的指令。

Show-Harness 则设计了一套语义动作接口,将机器人操作表示为模型能够理解和推理的离散动作单元,再由针对具体机器人设计的解释器,将这些动作转换为实际控制指令。此外,研究团队还开发了 GUMI(GUI Manipulation Interface),支持通过图形界面采集机器人操作演示,降低对专用遥操作硬件的依赖。

4 MaLiang-Harness 研究人员提出 MaLiang-Harness,探索如何将 Harness 的设计理念拓展至图像与视频生成领域。传统程序化生成方式虽然能够提供明确的构图和动画控制,但程序能够成功运行,并不意味着最终视觉结果符合用户预期。

为解决这一问题,该框架将多模态大语言模型驱动的视觉生成组织为持续构建、检查与修订的过程,通过保存可执行程序与任务上下文、追踪编辑历史和渲染证据,以及针对当前版本进行验证,让视觉生成过程更加可追溯、可恢复和可迭代。

5 EvoSafeHarness 研究人员提出 EvoSafeHarness,旨在解决智能体面对直接有害请求与间接提示注入时的安全防护问题。传统安全约束通常由专家预先设计,并应用于不同模型和任务领域,但不同模型的行为特点以及不同领域的风险要求并不相同,固定规则可能过度限制正常任务,也可能遗漏特定场景中的安全风险。

EvoSafeHarness 将安全约束的设计转化为可优化的过程,联合调整自然语言安全策略与可执行代码逻辑,并结合目标模型的行为反馈、领域规范和对抗性审查,生成更适合特定部署环境的约束套件。

6 Doc 2 Harness 研究人员提出 Doc2Harness,旨在直接评估大语言模型构建完整 Agent Harness 的

来源:北京智源研究院 · hub.baai.ac.cn

00