清华伯克利开源uni-robot-agent

机器人使用智能体（ Robot-use a gent ， RUA）已展现出可观的零样本操作能力，但仍严重依赖前沿专有模型。 在这一背景下，研究人员虽能调用模型能力，却拿不到模型权重，也就难以利用机器人实际操作中积累的经验进行下一步训练。 同时，API调用产生的大额费用，以及无法自行优化模型推理的限制，也让大规模实验难以开展。

为使RUA研究走向普惠，清华大学丁宁、刘知远、徐梦迪、周伯文等团队联合强化学习大牛、加州大学伯克利分校教授Pieter Abbeel团队推出并开源了uni-robot-agent，这是一个面向开源权重robot use的统一harness，且支持进一步训练。 在没有特权输入的情况下，Qwen3.8-Flash-Next（+uni-robot-agent）在RoboDojo的性能超越了GPT-6 Astra（+RoboProbe）以及多个经过任务微调的VLA/WAM基线模型。

他们没有先为每项任务训练专门策略，而是从工具接口、环境信息和执行反馈入手，探索现成模型已经具备的Robot-use能力。 这项工作首先面对一个问题：开放模型操作机器人失败，究竟是模型能力不足，还是系统没有把必要的信息和工具组织好？ 因此，他们选择先建立一个通用、可靠的harness，也就是连接模型与机器人环境的交互框架。 它统一不同模型、机器人形态、任务和环境中的工具接口与反馈格式，让模型能够通过一致的交互方式完成操作，也为后续利用仿真和真实机器人数据开展联合训练提供基础。

其中一个关键判断是，机器人操作未必需要依赖部署时无法获得的额外信息。 经过合理组织的相机标定信息、机器人描述，以及能返回有效反馈的可靠工具接口，已经能够支持开放模型完成有竞争力的操作。 这使得研究重点从不断补充任务专用信息，转向如何组织模型可以使用的真实环境信息。 Harness同时考虑了交互效率。 机器人执行动作时，模型推理可以与工具执行重叠，减少两者依次等待带来的耗时。 agent运行时、工具和机器人后端也采用可替换设计，便于研究人员更换组件、比较不同方案。

对于需要持续收集机器人交互经验的训练研究，这些设计直接关系到系统能否扩展。 在RoboDojo上，未经额外机器人专项训练的Qwen3.8-Flash-Next配合uni-robot-agent，在不使用特权输入的设置下取得31.39分，超越了GPT-6 Astra配合RoboProbe的28.97分。 他们还在19项真实桌面操作任务中测试了系统，并在摘要中将其表现概括为具有竞争力。 仿真与真实环境的共同测试，使研究关注的不只是某一个模拟器中的成绩，也包括统一交互方式能否用于物理机器人。

在建立开放模型操作基线后，他们进一步比较了不同代际、系列和规模的模型，并分析操作轨迹中的失败模式。 他们据此提出，机器人操作能力可能来自多种通用能力的共同作用，未来训练应推动这些能力协同发展。 这里呈现的是基于模型比较和轨迹分析提出的研究判断，尚不能将四类能力之间的关系视为已经确立的因果机制。 他们也指出，uni-robot-agent仍难以处理精细操作和可靠的长程执行任务。

整体来看，通过提供共享的交互接口、可替换的组件以及结构化的执行反馈，uni-robot-agent为采集机器人交互数据、开发训练方法以及评估其对agent行为与任务表现的影响，提供了一个统一的基础。

更多技术细节，详见原论文。