跳到正文
原文
Hacker News· irthomasthomas·· 20 天前精选AI 评分78

Google Research 开源 Harness²:面向开放世界的递归 Agent Harness 框架

Harness2 by Google Research – Recursive Agent Harnessing

AI 摘要

Google Research 发布 Harness²,一个在模型权重固定前提下递归优化 Agent harness 的即插即用框架,单步即可让 GLM-5 和 Gemini 3.5 Flash 超过其基础 harness。

正文 · AI 翻译

Harness²
面向开放世界的递归智能体驾驭

Paper Website Benchmark guides License

Install, set up, and run JobBench: uv pip install -e '.[render]', harness2-setup jb, then harness2 --bench jb --k 1 --mode parallel. Click for prerequisites and commands.

Harness(驾驭系统)是模型外围使其能够作为智能体行动的系统:提示词、工具、记忆、技能、编排等。Harnessing(驾驭)是对该系统进行优化的过程。

Harness² 是一个即插即用的框架,用于在开放世界中进行递归智能体驾驭,其中智能体会遇到在驾驭系统设计时未曾见过的任务。它在保持模型权重不变的同时连接了两个层次的递归:

  • 任务级递归通过对比式的提议–探测–组合步骤为当前任务精炼执行驾驭系统:提议修改、探测这些修改在同一任务上的效果,并根据多次执行之间的行为对比组合出精炼后的驾驭系统,无需真实反馈。
  • 驾驭级递归利用每个任务中采用的驾驭系统和有证据支持的教训来更新一个持久的改进驾驭系统,以指导未来的精炼。

Harness² pipeline. Task-level recursion: an agent executor runs the initial harness, a harness editor proposes invariant and domain edits, candidate probes execute them, and a harness composer combines them into the final harness. Harnessing-level recursion: an experience reflector reflects on the step and updates the improvement harness used for the next task.

在三个专业基准和四种模型–驾驭系统配置上,单次 Harness² 步骤即可使 GLM-5 和 Gemini 3.5 Flash 在各自基础驾驭系统之上获得提升,在 WorkBuddy-Bench 上最高提升 11.5 分,在 JobBench 上提升 4.5 分,在 LAB 的部分通过率上提升 11.8 个百分点。增加任务级递归预算可带来进一步提升。

该版本支持并行与串行递归、OpenCode 和 Codex 执行器,以及 JobBench、LAB 和 WorkBuddy-Bench。

视频概览

harness2-video.mp4

目录

驾驭系统组件

Harness² 在模型周围提供八个可编辑组件:系统提示词、护栏、记忆、工具指引、子智能体、技能、脚本和插件。它们控制上下文构建、工具接口、委派以及工具循环内部的行为。

Eight harness components grouped by runtime role: system prompt, guardrails, memory, and skills construct context; tool guidance and scripts define the tool interface; subagents orchestrate delegated work; plugins control middleware.

安装

使用 Linux、Python 3.12 和 uv。 在仓库根目录下执行:

uv venv --python 3.12 .venv
source .venv/bin/activate
uv pip install -e '.[render]'
harness2-demo --output runs/demo --k 2

本地演示使用确定性编辑器和真实 Python 执行来运行两种递归模式。它不需要模型凭据。

对于由模型驱动的基准测试,请安装 Node.js 20+、Google Cloud CLI 以及 基准测试依赖。LAB 需要 Pandoc 和 Poppler;WorkBuddy-Bench 需要 Docker。然后配置你的模型:

cp .env.example .env
# Edit .env with your Vertex AI project and model IDs.
gcloud auth application-default login

有关模型设置、身份验证替代方案以及 Codex 执行器,请参阅设置指南。

运行基准测试

以下示例安装 LAB 并运行一个任务,然后评估并报告其结果。由模型驱动的运行会产生 API 费用;请从少量任务选择开始。

harness2-setup lab
harness2-check --bench lab
harness2 --bench lab --k 1 --mode parallel \
  --only-domains antitrust-competition --max-tasks 1
harness2-judge --bench lab --k 1 --mode parallel
harness2-report --bench lab --k 1 --mode parallel

串行递归使用 --mode sequential 运行相同的命令。--k 是任务级递归预算;请参阅实验。评判和报告必须使用与精炼运行相同的基准、执行器、子集、--k、--mode 和种子。将 --dry-run 添加到 harness2 可在不调用模型的情况下预览任务选择。

基准 任务 安装 指南
JobBench 专业工作 harness2-setup jb JobBench
LAB 法律工作 harness2-setup lab LAB
WorkBuddy-Bench 办公、Web 和代码 harness2-setup wb WorkBuddy

每条命令选择一个基准。设置完成后,WorkBuddy 在每条命令中还会接受 --subset office、--subset web 或 --subset code。基准指南介绍了每个基准的数据、领域和评分方式。

实验

以两种方式扩展任务级递归:并行递归探索多个候选 harness,并根据它们的执行证据组合改进;顺序递归将改进后的 harness 和累积的证据贯穿于连续的 Propose–Probe–Compose 步骤中。

Two ways to scale task-level recursion. Parallel: probe k general and k domain-specific candidate harnesses, then produce k compositions from the shared evidence. Sequential: carry the refined harness and accumulated evidence through k Propose–Probe–Compose steps.

并行递归探索更广;顺序递归改进更深。

选项 行为
--k 1 一个 Propose–Probe–Compose 步骤
--k K --mode parallel 探测 K 个通用候选和 K 个领域特定候选,然后生成 K 个组合
--k K --mode sequential 通过 K 个连续步骤改进 harness
--substrate cx 使用 Codex 代替默认的 OpenCode 执行器

每个任务之后,harness 级递归会保留所采用的 harness 和有证据支持的教训,以指导未来的改进。有关任务选择、并发、可复现性和基线比较,请参阅实验指南。

网络访问

执行器的网络访问不受限制,Codex 在其沙箱禁用的情况下运行。公开基准的评分标准可能可以在线访问。在评估之前,请配置网络限制,以防止访问基准答案和评分标准。

结果与恢复

结果保存在 runs/ 下,按基准和子集(如适用)组织。它们包括任务摘要、交付物、采用的 harness、反思笔记和评估结果。

重复相同的命令即可恢复。在更改模型或任务选择时,请使用新的 HARNESS2_RUNS_DIR。详情请参阅结果与恢复;每条命令还支持 --help。

引用

@article{xu2026harness2,
  title   = {Harness\(^2\): Recursive Agent Harnessing for an Open World},
  author  = {Xu, Ruiyao and Chen, Yanfei and CuiZhu, Zhongying and Dalvi Mishra, Bhavana and Ming, Yifei and Yu, Han and Han, Rujun and Lee, Chen-Yu and Pfister, Tomas},
  journal = {arXiv preprint arXiv:2610.14224},
  year    = {2026},
  url     = {https://arxiv.org/abs/2610.14224}
}

贡献

请参阅 CONTRIBUTING.md。

许可证

Harness² 采用 Apache 2.0 许可。位于 third_party/ 下的第三方代码、基准和数据集保留其上游许可证;请参阅第三方声明。

免责声明

这不是 Google 官方支持的产品。本项目不符合 Google 开源软件漏洞奖励计划的资格。

来源:Hacker News · github.com

00