Hugging Face 发布 Grabette：开源机器人操作数据采集系统

用手持夹爪在几分钟内记录你自己的操作任务，自动将其转化为机器人可用的数据集，并帮助构建一个开放、协作的机器人学习数据集。

瓶颈不在模型，而在数据。

机器人学习面临供给问题。我们有能力强大的策略架构（基于 Transformer 的 VLA、扩散与流匹配策略，甚至世界模型），也有训练它们所需的 GPU。我们缺少的是大规模、多样化的真实世界操作数据。

通过遥操作机器人来采集数据可能既昂贵又费力：首先，它需要一台机器人。而且，根据遥操作方法的不同，如果耗时数小时并涉及大量硬件和后勤挑战，数据采集对用户来说可能十分繁琐。面对所需的各种任务和环境，这很难规模化。

但你不需要机器人来采集机器人数据。只需要一只人手、一个夹爪、一个摄像头，以及一种恢复手部 6 自由度轨迹的方法。捕捉演示，你就得到了机器人可以学习的数据。

这就是我们今天发布的东西：Grabette，一个开放、低成本的操作数据记录系统。拿起它，用你自己的手记录一个任务，就能得到一份干净、机器人可用的数据集。不需要机器人，不需要实验室，不需要遥操作设备。

put_on_grabettes

而更大的目标是：如果记录一次演示像拍一段视频一样简单，那么任何人都可以贡献数据。我们希望 Grabette 能催生一个大型、开放、协作的操作数据集。一个任何单一实验室都无法独自构建的数据集。

open_cabinet

站在 UMI 的肩膀上

Grabette 直接受到斯坦福大学 Universal Manipulation Interface（UMI）的启发：一个带有鱼眼摄像头的手持夹爪，可以在“野外”记录演示，通过 SLAM 恢复摄像头轨迹，并据此训练视觉运动策略。

UMI 证明了这套方案行之有效。其他（闭源）设备也存在，比如 Agibot 的 MEgo 夹爪、Genrobot 的 DAS 夹爪和 Sunday Robotics 的技能捕捉手套。我们的目标是让它使用起来毫不费力，把从“我有一个任务”到“我有一个训练好的模型”的门槛降到尽可能低。

Grabette 构建于现代开放生态之中：数据集使用 LeRobot，共享使用 Hugging Face Hub，处理流程在浏览器中运行，无需安装任何东西。Grabette 是任何人都可以在工作台上搭建、在实地使用并贡献数据的东西。

认识 Grabette

我们已经开发 Grabette 数月，觉得它已经足够可用，可以分享了。我们很兴奋现在能把它分享给你！

Grabette 是一个手持夹爪，配备了重建操作演示所需的一切。

grabette_label

它搭载两个摄像头，各司其职。将两种角色分开是有意为之：廉价的广角鱼眼为策略提供所需的富含上下文、类似腕部摄像头的视角，而 RGBD 摄像头则承担稳健 6 自由度跟踪的重任。

虽然 Grabette 在用户执行任务期间记录数据，但训练之后，它依赖其机器人对应物来执行学到的动作。所以，来认识一下Gripette，Grabette 的机械臂末端执行器孪生体。

这个家族共享相同的硬件基因：

Grabette，手持演示设备（摄像头 + IMU + 夹爪，BOM 成本约 490€）
Gripette，电动夹爪（摄像头 + 两个伺服电机，BOM 成本约 120€），可在真实或模拟机械臂上闭环运行

Grabette and Gripette

Grabette 手持录制设备（左）和 Gripette 机器人夹爪（右）

为所有人打造

一切皆开源

去看看代码仓库吧！

硬件：Grabette 和 Gripette 的 CAD 及生产文件
采集服务：设备端 Raspberry Pi 软件
处理流水线：本地运行，或通过我们的 Hugging Face Space 在线运行
下游示例栈：原生 LeRobot 训练 + OpenArm 评估，作为参考

组件。可购买的标准传感器，没有封闭流水线，没有分支锁定。一个 Raspberry Pi、一个标准 Pi 摄像头、一个现成的 OAK-D 深度摄像头、磁性编码器。关键在于任何人都能用可以直接订购的零件组装一台。

设计上不依赖特定机器人。采集过程和数据格式都不假设特定机械臂。演示数据以相机局部 6 自由度笛卡尔位姿加夹爪状态存储，输出是 Hugging Face Hub 上的标准 LeRobot 数据集，因此同一份数据可以驱动不同的机器人和不同的学习方法。不过你的机械臂上仍然需要匹配的 Gripette 夹爪。

从你的手到数据集，只需两步

本次发布让任何人都能快速从“我想演示一个任务”到“我有了一个可训练的数据集”，无需事先具备专业知识。

1. 录制

web_processing record_coffee

按下按钮，来自观察摄像头、追踪摄像头（彩色、深度和 IMU）以及夹爪编码器关节值的数据会同时录制，使用单一共享时钟确保正确同步。再次按下按钮结束该回合，数据会本地保存在 Raspberry Pi 上。

2. 直接在浏览器中处理

在浏览器中打开 Grabette 仪表盘。选择要添加到数据集中的回合，一键即可开始后处理。

回合会上传到 HF Hub
grabette-slam space 使用 RTAB-MAP 库执行 SLAM，并验证轨迹是否正确（没有跳变或跟踪丢失）
回合会转换为 LeRobot 格式
一个新数据集会上传到你的 space，你可以在其中使用 Le Robot 可视化工具查看每个回合的数据

现在一切就绪，可以开始训练了！

你能用这些数据做什么？这里有一个例子。

数据集只有能训练出东西才有意义。因此，为了端到端展示整个闭环，我们附带了一个完整示例。但需要说明的是，这只是它所支持能力的一个示例，而非产品本身：本次发布的是录制系统。你的 Grabette 数据可用于任何消费 LeRobot 数据集的方法。

我们的示例使用了 200 条录制的演示，例如：

以及：

训练一个策略，使用 LeRobot 栈——一个 Diffusion Policy（ResNet18 + SpatialSoftmax 编码器、DDIM 调度器、6 维旋转动作），可在单块消费级 GPU 上运行。
评估它，在搭载 Gripette 夹爪的 OpenArm 7 自由度机械臂上，通过 gRPC API 驱动，结果如下：

现在轮到你了

数据瓶颈不是靠某一个实验室就能解决的，而是要靠一个社区在各处录制演示数据。你现在就可以帮助构建这个数据集：制作一个 Grabette，录制你感兴趣的任务，并在 Hub 上分享。每一段记录都让这个开放数据集变得更大、更多样，每一位贡献者都让机器人学习少一点被昂贵硬件所限制。

接下来是什么

这次发布只是项目的开始！Grabette 会持续演进。我们还有更多内容即将推出，包括 Casquette，一款头戴式 POV 设备，与 Grabette 搭配用于第一人称视角采集（仍在开发中）。但最重要的下一步不仅属于我们，也属于你：开始录制，让我们一起构建这个数据集。

👉 制作一个 Grabette（GitHub） · 处理你的数据（HF Space） · 为数据集做贡献

由 Pollen Robotics 用 ❤️ 打造。