LeRobot v0.6.0 发布：世界模型策略、奖励模型与六个仿真基准

这个新版本的核心是闭合机器人学习循环：在行动前先想象未来的策略、告诉你机器人何时成功的奖励模型、将失败转化为训练数据的部署 CLI，以及六个用于衡量这一切的新仿真基准。它还带来了深度感知、VLM 驱动的数据集标注、自定义视频编码、在 HF Jobs 上的云端训练，以及更加精简的安装。

TL;DR

LeRobot v0.6.0 引入了世界模型策略（VLA-JEPA、FastWAM、LingBot-VA），它们学会想象未来；一批新的 VLA（GR00T N1.7、MolmoAct2、EO-1、EVO1、Multitask DiT）；以及新的奖励模型 API（Robometer、TOPReward）。它发布了六个新的仿真基准，统一在 lerobot-eval 之下；lerobot-rollout CLI 支持 DAgger 风格的人在回路修正、FSDP 训练，以及在 HF Jobs 上的云端训练。数据集获得了深度支持、自动语言标注流水线、自定义视频编码，以及最高 2 倍的数据加载速度提升，所有这些都建立在更精简的安装之上。

目录

• LeRobot v0.6.0: Imagine, Evaluate, Improve
  • TL;DR
  • 目录
  • World models: policies that imagine
    • VLA-JEPA
    • LingBot-VA
    • FastWAM
  • VLAs: the model zoo keeps growing
    • GR00T N1.7
    • MolmoAct2
    • EO-1
    • Multitask DiT
    • EVO1
  • Reward models: knowing when your robot succeeds
    • Robometer
    • TOPReward
  • Datasets: faster loading, richer data
    • 你的编解码器，你做主
    • 端到端的深度支持
    • 大规模语言标注
    • 数据加载最高提速 2 倍
  • 基准测试：一个 CLI 评估全部
  • Training & inference
    • lerobot-rollout：部署有了自己的 CLI
    • FSDP：训练比你的 GPU 更大的模型
    • 使用 HF Jobs 进行云端训练
  • 代码库：更精简、更整洁
  • 社区与生态
  • 结语

世界模型：会想象的策略

机器人领域正在提出一个大问题：世界模型真的能帮助机器人策略吗？v0.6.0 为 LeRobot 带来了三个策略来帮助回答这个问题。每一个都在训练中学会想象未来，而每一个都走不同的路径来让这种想象保持低成本。

VLA-JEPA

VLA-JEPA 教会一个紧凑的 VLA（基于 Qwen3-VL-2B 构建）在学习行动的同时在潜空间中预测未来：训练期间，一个 JEPA 世界模型必须根据模型自身的动作来预测即将到来的帧。诀窍在于，世界模型在推理时会消失，因此你能以零额外推理成本获得世界模型的监督。Hub 上有三个可直接使用的检查点，包括一个用于微调的 DROID 预训练基础模型：

lerobot-train \
  --policy.path=lerobot/VLA-JEPA-Pretrain \
  --dataset.repo_id=${HF_USER}/my_dataset \
  --policy.repo_id=${HF_USER}/my_finetuned_policy

查看 VLA-JEPA 文档和论文以了解更多。

LingBot-VA

LingBot-VA 更进一步：一个自回归视频-动作模型，逐块地同时预测未来视频和动作，并将真实观测反馈回去，以保持其想象有据可依。你甚至可以保存机器人所想象的内容（--policy.save_predicted_video=true），并与实际发生的情况进行比较。推理可在单块 24–32 GB GPU 上运行。查看文档和论文了解技术细节。

FastWAM

FastWAM 在其论文标题中提出了一个问题：世界动作模型是否需要在测试时进行未来想象？它将一个约 5B 的视频生成专家与一个紧凑的动作专家配对在单个网络中，因此模型实际上学会了想象自己的 rollout。在推理时，它完全跳过想象，直接对动作块进行去噪。从 lerobot/fastwam_base 微调它，更多内容请阅读文档。

VLA：模型库持续增长

GR00T N1.7

我们将 NVIDIA GR00T 集成升级到了 GR00T N1.7，这是 NVIDIA 最新的开放跨具身基础模型。N1.7 将之前的 VLM 替换为 Cosmos-Reason2-2B（基于 Qwen3-VL），并接入一个流匹配动作头，我们的集成已针对 NVIDIA 原始的 Isaac-GR00T 实现进行了对等测试：相同输入，相同输出。Flash-attention 现在是可选的，因此 pip install 'lerobot[groot]' 可以直接工作，并且你可以直接加载 NVIDIA 发布的检查点。

GR00T N1.7 在 LeRobot 中取代了 N1.5。如果你需要 N1.5，请固定 lerobot==0.5.1。

MolmoAct2

MolmoAct2，Allen Institute for AI 的视觉-语言-动作模型，现已移植到 LeRobot，覆盖完整生命周期：微调（全量或 LoRA）、评估和真机部署。内置校准校正的现成检查点意味着你可以在 SO-100/101 上零样本运行它：

lerobot-rollout \
  --policy.path=lerobot/MolmoAct2-SO100_101-LeRobot \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.cameras='{cam0: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, cam1: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}' \
  --task="pick up the red cube" --duration=30

推理在 bf16 下约需 12 GB，LoRA 微调可在单张 24 GB GPU 上完成。完整部署指南请参阅 MolmoAct2 文档。

EO-1

EO-1，一个在交错视觉-文本-动作数据上预训练的 VLA，加入了 LeRobot：Qwen2.5-VL-3B 主干加上流匹配动作头，由该论文作者之一贡献。使用标准 lerobot-train 工作流和 --policy.type=eo1 来训练它。详情见文档和论文。

多任务 DiT

多任务扩散 Transformer 策略将 TRI 大型行为模型配方带到了 LeRobot：一个约 450M 参数的扩散 transformer，以 CLIP 视觉和语言嵌入为条件，因此一个模型可以学习通过自然语言选择的多个任务。它同时支持扩散和流匹配目标，而且足够小，你可以自己训练。请参阅文档。

EVO1

VLA 不必很大。EVO1 将其策略压缩到 0.77B 参数，一个 InternVL3-1B 主干加上流匹配动作头，小到足以在普通 GPU 上微调并实时运行。它开箱即支持两阶段微调和实时分块。请参阅 EVO1 文档和论文。

奖励模型：知道你的机器人何时成功

成功检测和进度估计是机器人学习循环中缺失的部分，v0.6.0 为它们提供了归宿。LeRobot 现在有了统一的奖励模型 API（lerobot.rewards），与策略 API 相呼应，一个接口背后有四个奖励模型——HIL-SERL 奖励分类器、SARM，以及两个新成员：

Robometer

Robometer 是一个预训练的通用奖励模型：将 lerobot/Robometer-4B 指向任意 LeRobot 数据集，它就能根据原始视频加语言指令，对任务进度和成功与否进行评分，无需任何任务特定训练。它基于 Qwen3-VL-4B 构建，并通过在超过一百万条机器人轨迹的数据集上进行轨迹对比训练而成（RSS 2026 论文）。

TOPReward

TOPReward 完全零样本：完全不需要奖励权重。它封装了一个现成的 VLM（Qwen3-VL），并读取在给定轨迹视频和任务指令时 token “True” 的对数概率。任何有能力的 VLM 都能成为奖励函数。

两者都附带标注脚本，可将逐帧进度曲线写入你的数据集，可直接用于奖励感知行为克隆（RA-BC）、数据集质量检查和进度叠加视频。请查看 Robometer 和 TOPReward 文档。

数据集：加载更快，数据更丰富

你的编解码器，你做主

录制不再受限于一个硬编码的编解码器。新的 --dataset.rgb_encoder.* 选项暴露了完整的编码接口（编解码器、质量、像素格式、GOP、预设），而 vcodec=auto 会先探测 NVENC、VideoToolbox、VAAPI 和 QSV 等硬件编码器，再回退到默认的软件 AV1 编码器。对于现有数据集，一条命令即可重新编码所有内容：

lerobot-edit-dataset \
    --repo_id ${HF_USER}/my_dataset \
    --operation.type reencode_videos \
    --operation.rgb_encoder.vcodec h264 \
    --operation.rgb_encoder.crf 23

完整细节见 视频编码文档。

端到端的深度支持

插入 Intel RealSense，设置 use_depth: true，LeRobot 就能端到端录制深度图：以毫米为单位采集，作为紧凑的 12 位深度视频流与 RGB 相机一起压缩，并在训练时解码回物理单位。深度在录制期间和 lerobot-dataset-viz 中实时渲染，并且适用于 SO-100/101、Koch、OpenArm、reBot、Unitree G1 等更多平台。

大规模语言标注

你的数据集不再只是每个 episode 一个任务字符串。LeRobot 数据集现在原生存储丰富的语言标注（带时间戳的子任务、计划、记忆、纠正、语音以及每个相机的 VQA 对），新的 lerobot-annotate CLI 会使用一个观看你 episode 的 VLM 自动填充它们：

lerobot-annotate \
    --repo_id=${HF_USER}/my_dataset \
    --new_repo_id=${HF_USER}/my_dataset_annotated \
    --vlm.model_id=Qwen/Qwen2.5-VL-7B-Instruct \
    --push_to_hub=true

然后，YAML 配方层会在采样时将这些标注渲染成聊天风格的训练消息：这正是未来的长时程、会说话的机器人策略将用于训练的数据。使用 HF Jobs 进行扩展，并阅读 标注流水线文档 了解更多。

数据加载速度最高提升 2 倍

在视频数据集上训练现在开箱即用，速度最高提升约 2 倍：多相机帧并行解码，数据加载器工作进程传输紧凑的 uint8 帧（进程间内存减少 4 倍），持久化工作进程在多个 epoch 间保持解码器缓存存活。加载大型数据集的子集（episodes=[...]）从几分钟缩短到几毫秒（在我们的基准测试中从 275 秒降至 0.06 秒）。采样现在也是确定性的且可恢复，因此中断的训练可以精确到样本重新开始。

基准测试：一个 CLI 评估所有

v0.5.0 将 LeRobot 确立为 VLA 的评估中心；v0.6.0 使其名副其实，新增六个模拟基准测试，全部可通过同一个 lerobot-eval CLI 运行，每个都有文档页面、Docker 镜像，以及一个在 CI 中进行冒烟测试的 SmolVLA 基线检查点：

• LIBERO-plus 通过约 10,000 个 LIBERO 的扰动变体对 VLA 进行压力测试，涵盖从光照、相机视角到重写指令等七个维度。它能在策略失效时告诉你。
• RoboTwin 2.0 在 SAPIEN 上覆盖 50 个双臂操作任务，并带有大量域随机化，同时 Hub 上提供了 超过 10 万条可直接用于训练的轨迹。
• RoboCasa365 在移动机械臂上覆盖 2,500 个程序化生成的厨房中的 365 个厨房任务，是我们阵容中最大的任务面。
• RoboCerebra 通过将 3 到 6 个子目标串联在基于语言的中间指令下的回合来评估长时程行为，并附带一个 6,660 回合的数据集。
• RoboMME 是一场记忆考试：你的策略能否计数重复次数、追踪隐藏物体，并模仿演示过的流程？4 个记忆套件中共有 16 个任务。
• VLABench 测试操作中的知识与推理，从物理问题到像端到端煮咖啡这样的复合任务。

lerobot-eval \
  --policy.path=lerobot/smolvla_robotwin \
  --env.type=robotwin \
  --env.task=beat_block_hammer \
  --eval.n_episodes=100 --eval.batch_size=1

模拟器后端需要特定的系统依赖及其各自的安装步骤；每个文档页面都有确切的配方，而且每个基准测试都附带现成的 Docker 镜像，如果你不想进行设置的话。

再加上 LIBERO、Meta-World 和 NVIDIA IsaacLab-Arena，这就让九个基准测试系列汇聚一堂，而新的 添加新基准测试指南 详细记录了如何接入你自己的基准测试。评估也变快了：并行评估现在默认使用异步向量化环境，基准测试显示速度最高提升 2 倍。

训练与推理

lerobot-rollout：部署有了自己的 CLI

部署策略过去是在 lerobot-record 之上打补丁。新的 lerobot-rollout CLI 让部署成为独立的工作流，具有可插拔的策略和推理后端（包括针对慢速兼容 VLA 的实时分块）。base 策略只是运行策略。sentry 持续记录，轮换回合并在过程中上传到 Hub。highlight 保留环形缓冲区，并在你按键时保存最后 N 秒，因此有趣的时刻永远不会丢失。episodic 镜像经典的回合/重置记录工作流。而 dagger 将部署变成数据收集。

使用 DAgger 策略，你观察策略运行，在它出错的那一刻按键（或踩 USB 脚踏板），用你的主臂接管以记录纠正，然后交还控制权。在你接管之前，主动主臂会被驱动到从臂的姿态，因此交接无抖动。每个纠正帧都标记有 intervention 标志，生成的数据集可直接用于下一次微调：

lerobot-rollout \
    --strategy.type=dagger \
    --policy.path=${HF_USER}/my_policy \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --teleop.type=so101_leader \
    --teleop.port=/dev/ttyACM1 \
    --dataset.repo_id=${HF_USER}/dagger_corrections \
    --dataset.single_task="Grasp the block"

部署、收集纠正、微调、重复：机器人学习飞轮现在只是一个 CLI 标志。阅读 部署文档。

FSDP：训练比你的 GPU 更大的模型

机器人基础模型正在超出单张 GPU 的容量。LeRobot 训练现在通过 Accelerate 支持 FSDP（完全分片数据并行）：参数、梯度和优化器状态跨 GPU 分片，检查点会重新收集为一个普通的单文件 model.safetensors，像任何其他策略一样加载。你甚至可以在不同数量的 GPU 上恢复 FSDP 运行。参见 多 GPU 训练文档。

使用 HF Jobs 进行云训练

没有 GPU？没问题。完全相同的 lerobot-train 命令现在只需添加一个标志即可在云中运行：

lerobot-train \
  --dataset.repo_id=${HF_USER}/so101_test \
  --policy.type=act \
  --policy.repo_id=${HF_USER}/my_policy \
  --job.target=a10g-small

LeRobot 会在需要时将你的本地数据集推送到私有 Hub 仓库，提交任务，将日志流式传输到你的终端，并在最后将训练好的策略推送到 Hub。你可以选择从 T4 到 8x H200 的任意配置，搭配 --job.target（计算按需付费）。查看文档

代码库：更精简、更整洁

• pip install lerobot 现在真正做到了轻量化，基础依赖减少了约 40%。按功能划分的额外依赖（[training]、[core_scripts]、[evaluation]……）覆盖其余部分，缺失依赖的错误会明确告诉你需要添加哪个额外依赖。如果你只使用 LeRobot 数据集，就不再需要安装硬件相关的依赖了 ;)
• 支持的 PyTorch 升级到 2.7–2.11，并为 Linux uv 安装默认固定了 CUDA 12.8 的 wheel。--policy.dtype=bfloat16 现在通过 Accelerate 驱动真正的混合精度训练。
• 提交的 uv.lock 是 CI、Docker 和开发的权威依赖规范，文档中包含了每一步的 uv 安装路径，甚至可以用一个标志选择你的 CUDA wheel。
• --display_mode=foxglove 将遥操作、录制和 rollout 流式传输到 Foxglove，这是机器人领域许多人已经在使用的可视化工具。它支持远程设置，lerobot-dataset-viz 还能实现可拖动回放的数据集播放。
• 可通过 pip 安装的 lerobot_env_* 包现在会自动注册其环境。插件系统覆盖全部五种组件类型：机器人、摄像头、遥操作器、策略和环境。
• 录制期间的键盘控制现在可以在 Wayland、SSH 远程、无头设备和 macOS 上运行，且无需辅助功能权限。

查看 发布说明 了解完整列表以及针对破坏性变更的迁移指引。

社区与生态

• LeLab 将整个 LeRobot 工作流（校准、遥操作、录制、本地或 HF Jobs 上训练、部署）放入浏览器 UI 中，无需 CLI。它目前支持 SO-ARM101。试试看！
• Isaac Teleop 让你通过 CloudXR/OpenXR 使用 VR 控制器，借助 NVIDIA 的 Isaac Teleop 技术栈 遥操作 SO-101，这是与 NVIDIA 团队合作的成果。参见 文档。
• 新的 计算硬件指南 回答了每个新手都会问的两个问题：我需要哪种 GPU，训练需要多长时间？它给出了各策略系列实测的显存占用范围，以及从 RTX 4090 到 4x H100 的参考训练时间。
• 重写后的 添加策略指南 展示了如何发布你自己的策略，无论是树内还是作为插件包，都无需提交 PR。

最后感想

除了这些头条功能外，v0.6.0 还包含数百项错误修复、文档改进以及整个代码库的体验优化，从更智能的默认设置到更可靠的 CI。

我们要向社区中的每一位致以最诚挚的感谢。本次发布包含了来自学术界、工业界和爱好者团队的工作，他们选择 LeRobot 作为其模型和基准的家园。每一个 PR 和错误报告都在推动开源机器人技术向前发展。

敬请期待更多内容 🤗 从 这里 开始！ – LeRobot 团队 ❤️