开源首个长程交互SQL Agent框架HarnessSQL

在企业级真实业务与复杂数据分析中，让大模型「一眼看穿数据库并写出完美SQL」，往往只是一个不切实际的幻想。 传统的Text-to-SQL大多将其简化为单轮文本生成：给定问题和静态Schema，让模型一步生成最终SQL。 但现实数据库动辄包含上百张表、数千字段与百万级数据，资深分析师绝不会「单轮盲猜」，而是在CLI或IDE 中执行 `SHOW TABLES`、探查表结构（DDL）、跑试探性查询（Probe Query），并根据报错反复修正逻辑后才提交代码。

在Spider2.0、BIRD-Interact和LiveSQLBench等长程交互基准上，传统静态微调模型纷纷暴露致命短板：训练时只学会「直接写终点答案」，部署到交互环境（Harness）后却缺乏探索试错、状态追踪与错误恢复能力，极易陷入死循环或因报错崩溃——即 「训练与部署脱节」（Train–Deploy Mismatch） 。

针对这一瓶颈，港科大与微软等团队推出了 首个原生长程环境交互训练框架HarnessSQL ，在密闭沙盒与专用SQL Harness中进行长程轨迹监督微调（SFT）与执行奖励强化学习（RL）。 在Spider 2.0-SQLite 上，HarnessSQL仅凭8B参数即斩获45.2%执行准确率（近基线3倍），大幅超越32B专用模型（OmniSQL 14.8%、Arctic-Text2SQL 16.3%）与多智能体系统（MARS-SQL 12.6%），14B模型更达54.8%！

让智能体在真正的执行沙盒中淬炼 为打破上述脱节，HarnessSQL构建了三大基石：高保真密闭执行沙盒、极简SQL Harness契约，以及两阶段长程后训练流水线。 密闭SQL执行沙盒与蓝图合成 团队基于Spider 2.0-Lite（30个SQLite）与Spider 2.0-DBT（49个DuckDB，零损迁移至SQLite）构建了79个复杂数据库沙盒，并采用 SQL-First蓝图合成法 ：先从活动引擎提取Schema、样本值与外键路径，采样出难度可控的可执行SQL，再反向生成自然语言问题与验证Oracle。

沙盒具备只读绑定、单语句约束与60秒超时保护，并通过语法、非空与语义变异测试（Mutation Tests）保障数据质量。 专为SQL任务定制的极简Harness契约（DSH-SQL） 通用编程Agent的繁杂Bash工具易导致模型注意力涣散。 HarnessSQL改造了DeepSeek-Harness（DSH），提炼出四元极简动作契约：sql_list_tables：枚举数据库内所有数据表及各自的数据行数； sql_schema：探查指定表的完整DDL定义、字段类型与真实采样数据；

sql_exec：试探性执行只读SQL查询，获取前排真实输出或运行时错误堆栈； sql_submit：终极提交已验证正确的SQL产物并退出长程会话。 环境中间件同时内置三大护栏：确定性行数截断 防止大输出撑爆上下文； 循环调用警示器 主动纠偏重复无效查询； 压力触发上下文压缩 确保长程探索保留核心事实。 原生Harness两阶段后训练：SFT筑基+RL登顶 第一阶段：全轨迹长程SFT（冷启动） 。

利用教师模型在沙盒中自主探索，筛选通过Oracle验证的优质多轮轨迹（平均11.8Ktokens、16轮交互、14次真实执行）进行全序列监督：关键机制：计算损失时，所有环境观测token（o_t）均被掩码忽略（Masked Out），仅在模型自身生成的推理、工具调用与最终提交上计算梯度，迫使模型学会根据环境反馈推演下一步行动。 第二阶段：执行奖励 强化学习 （自主进化） 。

为赋予模型应对未知数据库的试错能力，HarnessSQL采用动态解耦裁剪策略优化（DAPO）在沙盒中持续对齐，计算轨迹组标准化优势：奖励信号完全依托隐藏Oracle的真实执行对比：结果等价且合规得1分，报错、超时或结果不符均得0分。 不设任何人工中间奖励（Reward Shaping），倒逼模型探索出稳健的自纠错策略。

实验评测 团队在三大真实数据库基准上展开评测：域内长程交互基准 Spider 2.0-SQLite 、含用户模拟器的域外动态交互基准 BIRD-Interact Mini ，以及跨领域复杂推理基准 LiveSQLBench Base-Lite SQLite 。

对比基线涵盖通识编程模型（Qwen2.5-Coder-32B）、前沿SQL专用模型（OmniSQL 7B/32B、Arctic-Text2SQL 7B/32B）与多智能体系统（MARS-SQL 3×7B），统一采用 执行准确率（Execution Accuracy） 评估。

实验呈现出三大核心结果：8B小模型全面反超32B模型 ：在Spider 2.0-SQLite上，HarnessSQL-8B达到 45.2% ，较同底座基线（15.5%）提升近3倍，大幅超越OmniSQL-32B（14.8%）、Arctic-Text2SQL-32B（16.3%）和Qwen2.5-Coder-32B（16.3%）。 14B模型逼近55%大关 ：扩展至Qwen3-14B后，执行准确率进一步攀升至 54.8% ，验证了原生Harness训练出色的规模扩展性。

强劲的域外泛化能力 ：在未见过的BIRD-Interact Mini与LiveSQLBench上，HarnessSQL同样遥遥领先。 其中在LiveSQLBench上，8B（24.8%）与14B（28.5%）达到所有32B基线（7.0%–8.9%）的3～4倍，证明模型习得了通用探索策略而非机械记忆Schema。 进阶剖析 面对交互环境任务，该直接做强化学习（Direct RL）还是先做轨迹微调（SFT）？

受控实验给出了清晰对比：冷启动直接RL提升有限 ：8B基座直接跑RL仅从15.5%微升至20.0%（+4.5%）。 缺乏交互先验时，稀疏二值奖励难以在长轨迹中有效分配信用。 全轨迹SFT奠定交互基础 ：经验证轨迹SFT后，8B和14B分别跃升至 30.4% （+14.9%）与 37.8% （+15.6%），快速掌握了工具调用与报错纠偏规范。 SFT+RL实现性能质变 ：在SFT基础上引入DAPO强化学习，8B再涨14.8%达 45.2% ，14B再涨17.0%达 54.8% （增益达直接RL的3倍以上）。

这确立了长程Agent的黄金范式：SFT赋予交互框架与探索常识，RL释放未知环境下的自适应寻优潜能。 四大消融实验 围绕长程Agent训练的关键设计选择，消融实验提炼出四项核心发现：启示一：训练与推理接口的强对齐（Training-Inference Alignment）若推理采用DSH-SQL交互环境，但训练使用非交互式（Non-harness）SFT数据，Spider2.0准确率仅 9.6% ，甚至低于未微调基座（15.5%）； 而原生HarnessSFT达 30.4% 。

这证明：静态训练会破坏模型与动态环境的协作，训练与部署环境必须严格同构。 非交互式与原生Harness训练和推理在域内及域外基准上的交叉消融对比。 启示二：全序列轨迹组织显著优于单步拆解（Full-Trajectory>Turn-Split）构建SFT数据时，保留完整轨迹上下文的全序列监督（Full-trajectory）在三大基准上全面优于单步拆解（Turn-split）。 长程任务高度依赖前后多轮的因果脉络，拆碎样本会割裂全局决策连贯性。

图3：全轨迹监督（Full-trajectory）显著优于单步拆解监督（Turn-split）。