跳到正文
原文
北京智源研究院· 量子位·· 10 天前精选AI 评分70

FluxVLA Engine技术报告详解

工程能力一键复用,专心卷新能力!轮子造一次就够了|详解FluxVLA Engine技术报告

AI 摘要

逐际动力开源的FluxVLA Engine工程底座通过统一配置、模块解耦、面向部署的系统优化和实验可复现等设计,支持14种策略在仿真和真机环境中的高效训练与评测,显著提升模型推理路径频率和在线强化学习成功率

正文 · 中文整理稿

近期,逐际动力更新了其开源工程底座 FluxVLA Engine 的第二版技术报告。 V2进一步加入在线强化学习后训练实验,并扩展了仿真评测和真机部署的覆盖范围。 报告显示,在仿真侧,14种策略接入同一套LIBERO闭环评测,在RoboCasa GR-1、RoboTwin与RoboDojo上各有8种策略的接入结果。 在推理端,针对8组模型与设备组合的实测显示,优化后的模型推理路径频率提升至2.31–9.64倍。

而在ALOHA、Rebot、双臂Franka以及逐际动力自研的全尺寸人形机器人LimX Oli等多款真实硬件平台上,报告也完整验证了从模型checkpoint直达真机闭环执行的部署链路。 在线强化学习也是这次更新的一项重点。 以SmolVLA为例,在两组配对实验中,经过在线强化学习后,其在LIBERO-10和RoboTwin Clean十项任务上的成功率分别提升10.0和15.4个百分点。 自今年4月8日开源以来,FluxVLA Engine陆续扩展模型支持、评测配方和真机部署能力。

用逐际动力自己的话来说,FluxVLA Engine就是让底层工程能力真正可复用,把宝贵的研发人力从无休止的“配环境、改接口”中解放出来,让先进的模型真正有路可走、有地可落。 告别“作坊式”重复造轮子,为具身研发建一条“标准产线”。 为什么具身智能研发这么又烧钱又费人? 一大原因是行业里缺少统一的标准件。 对大多数团队来说,每一个新实验都是一个一次性工程。

FluxVLA Engine首要目标就是把这种作坊式的重复搭建,升级成标准化的工业流水线——逐际动力创始人兼CEO张巍就将FluxVLA Engine比作模型的生产线。 为了让这条生产线足够皮实足够好用,它围绕四项核心工程原则进行了底层架构设计。 统一配置(All-in-one):告别满屏乱飞的脚本,用一套配置单统管数据、模型、训练、评测与部署的关键配置。 模块解耦:通过注册表和标准接口,把视觉语言骨干、动作头、数据集与训练策略做成标准乐高积木,支持自由组合,也允许保留原生策略实现。

面向部署的系统优化:不搞实验室里的纸上谈兵,从设计之初就把推理加速、RTC(实时动作分块协调)和轨迹后处理焊死在运行流程里。 实验可复现:完整封存每一次实验的配置、模型状态和执行轨迹,让成功有迹可循,让失败有据可查。 可喜的是,自今年4月开源后,FluxVLA Engine一直高频演进、持续运营。

看看它过去半年近乎急行军般的迭代日历,就能感受到这种生命力:4月8日,FluxVLA Engine正式开源 6月22日,打通LimX Oli人形全身移动操作最小推理链路 6月30日,支持单双臂Franka真机推理 9月9日,接入GR00T N1.7 9月16日,技术报告挂上arXiv 10月15日,扩展RoboDojo评测支持 10月22日,V2报告更新,补充在线RL后训练、仿真与真机评测扩展。

技术报告:https://arxiv.org/abs/2609.17210 GitHub主页:https://github.com/FluxVLA/FluxVLA Hugging Face:https://huggingface.co/limxdynamics/FluxVLAEngine。 拥有FluxVLA Engine,研发团队就像拥有了一支在背后帮你持续升级基建、不断拓宽边界的外援工程铁军。 如何用一个底座打通训、评、部署全链路。 当下,技术路线还在剧烈收敛前的震荡期。

今天火的是扩散策略,明天可能就是流匹配或者世界动作模型。 要想远离这种“换模型就重头再来”的悲惨命运,唯一的解法是把底层工程基建与上层算法解耦。 换句话说,行业需要的是一个“以不变应万变”的工程底座。 FluxVLA Engine就是这样一个开源工程底座。 它打通“训、评、部署”全链路,保障已有的工程积累不归零。 至于如何做到的,我们可以从三个关键切面来看。 第一是数据与模型。 想让风格、特性各不相同的模型共用同一条流水线,第一步就得把底层的“粮草”和接口先标准化。

在数据层面,来自不同机器人、不同仿真环境的原始轨迹,会先做显式转换、标准化清洗,整理成兼容LeRobot规范的结构(包含Parquet文件、视频以及配套元数据)。 同时,相机顺序、动作表达、归一化统计这类约定,也会做好对齐匹配。 处理之后的这批数据,可以放到同一条管线里混训,也支持按分组保留各自独有的预处理、归一化规则。 不管是训练还是推理,都会通过独立的数据入口,遵循同一套模型输入、动作处理语义。 像数据这样的核心资产,在具身智能研发过程中成本最高。 减少资产贬值、提升复用效率,本身就是具备行业价值的降本方案。

同样的逻辑也体现在模型层面。 平台目前已深度集成Qwen-VL、GR00T、π系列以及DreamZero等主流VLM、VLA和WAM架构。 不同模型完全可以保留各自的原生骨骼,同时通过统一接口丝滑接入训练、评测和部署流程。 这种设计有多爽呢? 报告里的14种策略同台大练兵给出了最直观的证明。 这14种策略几乎涵盖了当下所有的主流门派:紧凑型VLA、流匹配策略、模块化VLM+动作头、世界动作模型,甚至还包括完全不需要本地权重、直接通过API裸调的GPT-6 Astra。

近期,还新增了API裸调的MiniMax-M3.1-Flash。 在项目报告的各自配置下,13个本地checkpoint策略中有11个在LIBERO上的平均成功率超过95%(如DiT4DiT达98.65%,π 0.5 达97.95%)。 第二个切面是在线强化学习(Online RL)。 光靠模仿学习(SFT)喂出来的模型,就像只会背题库的学生,一遇到没见过的突发状况就容易懵。 要让模型真正聪明起来,必须让它去环境里去实战前沿试错,也就是进行在线强化学习。

不过,因为在线强化学习需要把环境交互、策略更新和分布式训练串起来,工程复杂度会瞬间呈指数级爆炸,很多优秀团队都望而却步。 现在好了,FluxVLA Engine帮大家把这个硬骨头啃下来了——通过集成RLinf,FluxVLA Engine让兼容的流匹配策略可以直接拎包入住,进入在线交互训练流程,免去了重新适配模型和数据管线的痛苦。 在仿真配对实验中,每个基准的各任务均从同一SmolVLA SFT checkpoint出发,分别进行任务专用的PPO后训练。

经过40个外层迭代,LIBERO-10的任务平均成功率从66.2%提升至76.2%; RoboTwin Clean十项任务从45.9%提升至61.3%,分别提高10.0和15.4个百分点。 可以看到,平台实质性跑通了从“模仿学习起点”迈向“在线交互提分”的工程捷径,哪怕是小参数模型,也能在闭环试错中榨出惊人的潜力。 第三个切面,显微镜式评测。 过去这套评测机制特别不友好。 你没法看清模型到底是怎么跑的,最后就一个冷冰冰的成功率数字摆在那儿。 V2报告进一步扩展了仿真评测范围。

RoboTwin 新增了8种策略接入,同时提供Clean(纯净)和Random(随机)两种环境设置的成绩单; RoboDojo则对8种策略展开了涵盖42个任务、单模型高达2100次试验的“全科体检”。 前者通过比较两种设置中的表现,可观察模型对相应环境变化的适应情况; 后者除了看最终成败,还实时记录任务进度条,并从泛化、记忆、精度、长程任务和开放指令五个维度画出“能力雷达图”。

这种细粒度评测对研发人员来说简直是福音~比如一个叠衣服或抓积木的任务失败了,它其实可能已经完美走完了前三个阶段,只是在最后一步“放进盒子”时手抖了。 这时候将“阶段进度”与“最终成功率”放在一起看,就能快速发现模型究竟是眼神不好(视觉感知)、脑子不够用(长程规划)还是手脚不协调(精细控制)。 都说没有归因的评测就是盲盒炼丹。 这套可追溯、可定位的评测体系,本质上是在帮团队省钱。 因为知道病根在哪,所以下药精准度up up,盲目加数据、盲目烧算力的无效返工自然就减少了。 跨越从“仿真高分”到“真机干活”的生死线。

俗话说得好,仿真器里猛如虎,一上真机就只能慢慢慢抖抖抖。 具身模型通常会一次预测一段动作,再由机器人逐步执行。 在这个过程中,模型推理可能需要较长时间,机器人控制回路却仍在持续运行。 如果上一段动作尚未执行完毕,下一段预测就已经生成,两段动作之间便可能出现不连续。 即使模型输出的动作在数值上合理,也还需要满足机器人

来源:北京智源研究院 · hub.baai.ac.cn

00