RoboDojo评测中Agent技术崛起
33日前赴后继:“盘踞珠穆朗玛峰”的Agent,与步入调整期的RoboDojo
在RoboDojo评测中,Agent技术在33天内经历快速迭代,多家团队通过改进编程能力和经验复用等策略,使Agent在记忆、开放指令和长程任务中表现突出,超越传统WAM和VLA技术路线,引发对具身智能竞赛格局变化的讨论




RoboDojo是具身智能领域具有代表性的评测标准之一。 这项包含42个仿真任务与18个真机任务,堪称机器人的「全科大考」。 在CALVIN、LIBERO、RoboTwin、RMBench等仿真环境与ManipulationNet、RoboArena等真机基准工作之上,RoboDojo通过提供统一的结构化评测,共享策略接口与评测流水线,把面向能力的仿真诊断与可复现的真机验证结合起来,以此来填补过往基准中出现的缺口。
当RoboDojo问世,Tianxing等人组成的核心团队希望这项基准能够加速通用机器人操作策略的实现。 即便在不甚了解该领域的外界看来,它也颇具象征意义——这是一座具身智能界的「珠穆朗玛峰」。 正如所有在现实世界中立志登顶珠峰的登山家那样,这座具身珠峰下摩拳擦掌的挑战者不计其数。
其中不仅盘踞着北京大学、清华大学、UC Berkeley、NUS等顶尖高校学者与学生团队的工作成果,也能看到Physical Intelligence、OpenAI、智元机器人、小米机器人、美团、星动纪元、Manifold AI等前沿科技企业的身影。 期间,世界动作模型(WAM)、视觉语言动作模型(VLA)、Agent等不同技术路线一度百花齐放。 从山脚到山腰,一系列的智能涌现与科技竞逐不禁引人遐想:谁才能最终夺得珠峰山顶的旌旗? 然而,近一个月来,这种情况发生了剧烈变化。
33日,前赴后继 自2026年9月初Open AI发布GPT-6 Astra起,变化悄无声息地在具身智能体(Robot-Use Agent)层面发生了。 9月28日,香港大学MMLab与Kinetix AI的PhysicalRSI首次将Agent推上榜首。 10月14日,Einsia.AI的EmbodiedEvo以45.08分的成绩取代PhysicalRSI登上榜首。 三天之后,Manifold AI研发的WorldScape-R²SI智能体以46.58分的成绩取代Einsia.AI登上榜首。
又在三天后,六角未来的HexaShell以53.18分的成绩取代前者登上榜首。 10月24日,北大DAGroup的PyRUA-Lean以55.26分成绩再次取代HexaShell暂时领先。 10月27日,智元机器人(AGIBOT)的GO-3 Nano Preview接替北大PyRUA-Lean夺得榜单第一,平均成绩首次突破60大关。 10月30日,Qoo Tech的Q0-Preview又以74.20分的成绩接替智元机器人再次登顶。
公开成绩显示,Q0在记忆、开放词汇、精度、长程和泛化五大维度上取得四项第一,得分分别为93.67、75.0、58.5、58.5、58.67。 由于RoboDojo的评测政策支持团队在项目论文或代码不公开的情况下进入测评,我们至今仍未能确定为何该工作为Agent带来如此大的提升。 短短33天内,不同团队工作竞相追逐,Agent赛道将WAM、VLA甩在了身后。 为什么会这样? 这是否意味着具身智能体有望终结通用机器人的科技竞赛? 为何拉开差距 已经开源的多篇RUA研究中,思路的共通点在哪里?
多项研究的共同思路,是把大模型擅长的编程能力用到机器人策略上。 Agent看到相机画面、读懂任务后,写出一段控制程序,调用机械臂和夹爪执行,再根据新的画面和执行结果调整做法。 程序里的条件判断、循环和变量,承担了一部分过去需要模型通过训练掌握的工作。 一个复杂任务由此被拆成能够逐项检查的操作,失败也更容易追溯到具体环节。 研究者可以修改其中一段代码,随后再试,改进不必每次都从重新训练模型开始。 不过,这还不足以解释各家工作之间的差距。
北大DAGroup PyRUA-Lean调整了Agent调用机器人的方式,允许它一次写出一段Python程序,把连续操作和局部重试放在程序里完成,只在需要时取回图像和状态。 这样既能减少反复调用模型的开销,也能让已经明确的操作连贯执行。 HexaShell工作的更多重心则在处理视觉与动作之间的落差,同时把执行任务和修复工具分开,一个Agent操作机器人,另一个读取失败记录、检查工具代码,修改后再测试。 有效的改动以代码和笔记留下,在正式评测前冻结。 这让后来的尝试能够使用已经修好的工具,不必从同一个错误重新摸索。
EmbodiedEvo同样表现出类似的思路,但它更关注经验如何交给下一位执行者。 系统先在练习场景中探索,把可复用的操作写成代码技能,把何时适用、失败场景、补救措施写入判断,再交给全新的Agent到未见过的布局里循环使用。 PhysicalRSI则把可以修改的范围扩展到整套控制流程。 负责理解和诊断的大模型会依据执行结果,改写技能、工具调用和控制代码,生成不同的候选版本,再通过测试决定留下哪一个。 它也允许调用VLA技能。 与单独修好某个动作相比,这种做法试图改进的是机器人遇到一种情况时,如何选择并组织下一步行动。
Manifold AI在模型外部智能体的设计与上述方式有着显著区别。 其WorldScape-R²SI进一步把动作模型纳入改进过程,内部的Robot Agent决定何时使用控制工具、何时调用WorldScape Policy执行动作,外部的Recursion Agent分析记录。 Agent既修改技能和执行流程,也筛选经验去训练动作模型,将改好的版本经过测试验证后,再用于下一轮执行。 这些在智能体自我迭代上的差别会直接影响各家在不同任务上的表现。
可总结出的经验是,这些智能体形成的调用普遍更紧凑,有助于减少冗余操作; 定位更可靠,抓取和放置才不容易落空; 经验中保留了适用条件,换个布局后才更可能继续有效。 动作模型的加入,则提供了另一种执行复杂操作的办法。 虽然近期接替登顶的GO-3 Nano Preview、Q0-Preview等工作仍未公开,但Agent赛道的繁荣现象至少说明,随着基础模型的能力增强,Agent之间的Harness竞争正趋于工程上的紧凑,即整套系统能否快速响应、纠正错误并复用经验。 那么,为何当下这种繁荣没有延伸至WAM、VLA呢?
技术路线的演进有着客观存在的边界性。 如果从更宽泛的视角来看,WAM、VLA的两条路线与Agent相比,并不算咬合得非常紧密。 它们利用模型既有能力的方式有很大的区别。 VLA把视觉和语言映射为动作,WAM则倾向于动作与环境接下来的变化结合建模,都需要通过训练建立这些联系。 Agent可以直接借用通用大模型已经具备的语义理解、编程和推理能力,再用工具接上机器人。 因此,在读懂临时指令、记住先前线索、安排多步操作这类任务上,Agent能够较快用上通用大模型的能力积累。
遇到没有专门训练过的要求,它还可以现场组合已有工具。 机器人训练数据难以覆盖的某些任务变化,就有机会通过推理与程序组合来应对。 这可能是它在记忆、开放指令和长程任务中表现突出的重要原因。 另一个原因可能是实现迭代的显著差异。 「从头设计大脑」与修改「脚手架」相比,二者之间的难度是无法比拟的。 对于主要依靠学习生成动作的系统,一个反复出现的问题,往往需要补充数据、调整训练或修改模型,而WAM这类模型要实现训练的调整,需要消耗大量的计算资源和时间成本; Agent的一部分问题可以先在程序里处理。
比如抓取失败后增加检查,或把容易出错的动作拆开重做,都能够较快验证。 在榜单密集更新的阶段,这种修改速度会转化为优势。 尽管如此,把路线间的拉锯全部归结为技术路线的高下仍然过于简单。 这不仅是因为部分研究统一暴露出Agent在精细操作上的普遍困难,而且范式之间也形成了相互借鉴、融合的趋势。 例如,PhysicalRSI实际上容纳了调用VLA的形式,WorldScape-R²SI也并非一项完全抛弃WAM的工作,另有其他研究也出现了「Agent+WAM」的技术交融。
无人否认,GPT-6的问世让更多人看到RUA的可能性,「Agent的能力不一样了,时代确实在改变」。 也许未来的分工可能是Agent负责理解任务、安排步骤和处理异常,动作模型负责更连续、更熟练的执行。 榜单上Agent的领先,也包含了这种组合方式带来的进步。 然而值得追问的是,技术趋势之外,当下Agent赛道的繁荣是否也存在着异常的部分?
「Agent繁荣」中的异常部分 GPT-6 Astra的问世促使更多研究者关注基础大模型在具身智能体(Robot-Use Agent)的应用方向,也有不少形如HexaShell、Embodied Evo等成果在RoboDojo、LIBERO PRO、RoboTwin 2.0等基准上不断刷新成绩。 值得深思的是,当前具身智能评测榜中的「Agent繁荣」是否存在异常部分? 确实如此。 在《What Are We Actually Benchmarking in Robot Manipulation?
》中,已有团队指出,LIBERO、CALVIN、SimplerEnv、RoboCasa、RoboTwin 2.0等测评基准在部分场景下的失效模式,包括捷径可解、统计不显著、过拟合,以及用更接近测试分布的数据训练来追平更大、更通用模型的实际测试表现。 此外,基准当中的部分维度不再足够有效的情况也真实存在,从而导致测评基准在部分场景下不能百分之百客观地反映模型的真实能力。 当然,任何一种排名式的竞技都存在「先画靶子后射镖」的情况,希望得到外界更多目光、助推增长本无可厚非。
不过,如果有意识地利用基准的遗漏点,将「接近测试所测评的标准」等同于模型实际的所有能力,借助基准夸大营销,就不能算作一种可取的行为。 它无助于人工智能前沿技术的进步与落地。 无独有偶。 OpenRUA团队此前发布的《Behind the RoboDojo Boom》中同样提到



来源:虎嗅 · huxiu.com