96台机器人集体进化成功率反超人类

机器人在真实世界中的每一次执行，都在产生经验。 如何把这些经验利用起来，一直是个难题。 传统做法依靠人工纠正，由远程操作人员监控机器人执行，在策略出错时接管并给出正确动作。 这种模式在几台机器人上还可以维持，但随着集群规模扩大，人工监督迟早跟不上需求的增长。 针对这一问题，清华大学、智元机器人与无问芯穹联合团队提出了集体经验学习（CEL），一种让已部署机器人共享执行经验、共同改进同一策略的学习范式。

CEL的算法实现是失败引导的经验检索微调（FERT）：利用机器人执行失败时的上下文，从整个集群共享的成功经验中检索相关轨迹片段，并将其中记录的动作作为监督信号来更新策略。 整个过程无需额外收集专家示范或纠正动作。 人类只需为每次执行标注成功或失败并重置环境，动作本身全部由机器人提供。 为支撑大规模集群上的持续学习，团队还构建了容错异步训练系统（FATS）。

在手机包装、插花、叠衣服等五项真实世界操作任务上，研究团队每项任务各进行了120次试验，参与评估的机器人均未参与训练数据采集，最终策略的成功率达到93.3%至99.2%。 在固定每台机器人采集时长，仅增加机器人数量时，集群越大、经验越多，FERT的成绩总体也越好。 在多阶段手机包装任务中，使用96台机器人进行学习后，任务成功率从79.2%提升至98.3%。 这些结果表明，集体经验可以成为一种可行的可扩展机器人学习基础：随着部署规模扩大，经验供给同步增长，而无需专家监督随之同比例扩张。

这为机器人在部署过程中持续提高策略可靠性提供了一条路径。