跳到正文
原文
虎嗅· 陈伊凡_YF·· 13 天前精选AI 评分90

具身智能数据斜率论

具身智能最危险的幻觉,专坑那些迷信百万小时数的人

AI 摘要

具身智能领域专家卢策吾指出,模型泛化能力的关键在于数据斜率而非单纯堆砌数据量,强调模型消化数据的效率。他提出“无本体采集”方法,通过真实场景操作采集高质量数据,并以具身世界动作模型 Noe-0为例,展示其全链路无本体采集和力模型整合的优势。

正文 · 中文整理稿

卢策吾大概是世界上第一个让机器人拿刀片给自己刮胡子的人。 他身上的标签不少:具身智能公司穹彻智能的联合创始人兼 CEO,上海交通大学人工智能学院副院长,中文世界“无本体采集”的提出者。 机器人顶会最佳论文的榜上,也常有他的名字。 穹彻智能创始人卢策吾 图片由穹彻智能提供 2014年,他去斯坦福大学人工智能实验室做博士后,师从李飞飞; 2023年,他牵头撰写并确立了“具身智能”的中文标准术语定义,由中国计算机学会发布,这个领域第一次有了规范的中文概念;

同年11月,穹彻智能从非夕科技孵化成立,他出任 CEO 兼首席科学家。 这份履历,足以让他对行业下判断。 可在数字和结论面前,他显得保守,甚至“吝啬”:不给“拍脑袋”的答案,凡事要拿实验说话。 他是从冷清里走出来的。 2021年,卢策吾办了一场具身智能论坛,到场的只有7个人,讲到一半又走了三四个; 隔壁计算机视觉的会场,坐着几百人。 四年后,这条赛道吸走了整个风投业最热的钱。 穹彻成立的2023年,恰是行业的转折点。

那年2月智元成立,7月谷歌把大模型直接接到机器人的动作输出上、发布 RT-2,VLA 路线由此起步,8月宇树推出首款通用人形机器人 H1,11月穹彻成立。 此后资本涌入,全球具身智能赛道的融资额,2023年约27.78亿美元,2025年突破100亿美元。 穹彻两年多做了七轮融资,红杉、阿里先后入场,金额在行业中属中等偏上。 “整个行业的所有从业人员肯定都是这波热潮的受益者。 ”卢策吾说。 但穹彻算不上其中受益最大的那一个。 在我们这场交流里,他口中“数据”出现了69次,其次是模型、场景、落地。

他判断,Scaling Law 会长期奏效,数据因此越来越关键。 他提出了一个很具象的说法,数据的斜率。 斜率说的是模型消化数据的效率:同样两个小时,能真正吃进多少有信息量的数据,这才是分水岭。 单纯堆几万小时,意义不大。 只要斜率一直往上抬,泛化的临界点会自己到来。 斜率的快慢,取决于数据从哪里来、质量够不够高。 穹彻智能做 “无本体采集”:采集员戴着设备在真实场景里自然操作,不必碰机器人,数据可以在线分发,规模因此能往上抬。 代价是设备要求极高,夹爪、穿戴设备差一点,数据就废一点。

今年8月,穹彻发布具身世界动作模型 Noe-0,从预训练到后训练全程使用无本体数据,没有一条来自遥操作。 数据由一只叫 RoboPocket 的可穿戴设备采集,已覆盖超过五十多个城市,累计超二十万小时。 常被追问的另一个问题,是关于“世界模型”。 这个词近两年被反复提起,却始终没有一个收敛的定义,卢策吾对定义之争兴趣不大:叫不叫世界模型不要紧,能不能预测未来才要紧,因为只有能预测,才谈得上泛化。 这仍然来自于他从斯坦福实验室学到的第一性原理。

衡量这套模型,他只看两个数:有多少任务能靠后训练做到99%的鲁棒性、够商用; 以及做到99%要花多少后训练成本。 两个数一起好转,说明泛化和鲁棒性在变强,也直接决定商业化能铺多大。 他理想中的生意,是部署的边际成本一路向下:过去的机器人生意像打井,一个坑一个坑地挖; 现在是铺好一张水管网,接上场景、装个计费表就行。 在斯坦福,导师李飞飞问过他一个问题:人工智能最根本的问题是什么? 他说,终极的智能不该被锁在数字世界里,应该有手有脚,能干活,能理解和体验真实的物理世界,让智能在真实世界里高速进化。

这是通向通用智能(AGI)的重要路径之一。 李飞飞说,那叫具身智能,一条非常难走的路。 十几年过去,路还是难走,只是不再冷清。 卢策吾的回答因此显得保守,甚至不合时宜,却最接近行业的本质与真相。 以下是虎嗅精选的访谈,进行了不改变原意的改编: 叫不叫世界模型并不重要,关键是对世界底层机理的认知 虎嗅:以2023年穹彻成立为起点回看这三年,行业的技术路线、争议、泡沫、投融资都在快速迭代。 你认为过去哪些判断需要修正或推翻,哪些一直延续到现在? 卢策吾:从2023年成立至今,有部分核心观点一直没有变化。

成立时我们就看到了通用智能在机器人上落地的可能性,当时大量相关企业集中成立,核心逻辑是大模型技术向物理世界落地具备必然性,我们也预判相关技术发展速度会很快,基于第一性原理的判断三年来没有出现大的变动。 有部分内容的实际发展节奏和最初预判有差异,比如模型架构的迭代速度、数据规模的扩展速度都非常快。 虎嗅:商业化落地的情况和速度,和你三年前的预判相比呢? 卢策吾:三年前我没有预判到具体年份的落地节点,目前整体进展和预判差不多。

当前模型已经到了在部分场景中推进产品与市场匹配验证,模型能力提升后自然会走向 落地,落地领域先从模式相对简单的结构化场景起步,再逐步延伸到非结构化场景,这个顺序也和之前的预判基本一致。 唯一没有预测到的是资本在这个赛道的爆火程度,这一点比较出乎意料。 虎嗅:前几年大家喊 VLA,最近讲世界模型,但世界模型的定义一直没有收敛。 你怎么理解它? 最关键的是什么? 卢策吾:对它要承担的功能,行业是有共识的:能预测未来、预测未来状态,能还原物理世界的知识。 分歧在定义,而定义没那么重要,重要的是使用者要什么。

做视频生成、三维重建的,关心像素是否清晰; 对于以机器人动作为目标的模型,显式、高保真的视觉重建并非首要目标,更关键的是能否理解与任务相关的世界状态,并准确、鲁棒地执行动作; 关心理解世界之后能不能把动作做对。 穹彻的世界模型,核心是理解世界、理解物理规律。 显性重建不是必须的,也可以是隐性的。 我们更在意能不能准确、鲁棒地预测下一帧的每一个动作,对高精度、高清晰的显性重建没有执念。 所以叫不叫世界模型并不关键,关键是对世界底层机理有认知,能预测未来状态,才谈得上泛化。

虎嗅:显性重建和隐性重建是什么区别,能不能举一个例子? 卢策吾:显性重建就是预测下一帧内容。 用在视频生成、游戏、室内装修、城市建模这些场景,要求视觉效果符合人的预期。 机器人没有这类要求,会做取舍,把能力放在行为理解上。 行为理解的底层也需要隐性认知世界的状态,只是不必把每个细节都做精,就像人做动作不需要在脑中精准还原每个像素,在该精细的地方精细就够了。 这样取舍之后,模型架构、算力、数据分布都能往核心需求上倾斜,效果反而比追求全能更好。 虎嗅:你提过具身智能的“技能光谱”。 它长什么样子,对落地意味着什么?

现在走到了百分之几? 卢策吾:之所以叫技能光谱而不是技能级,是因为技能是连续函数,我们说的技能名称只是人类给出的映射; 技能光谱本质是用通用方式表示所有可能技能的通用技能能力空间,很难用文字明确界定其具体内容。 关于目前具身智能在技能光谱里完成了多少,很难给出具体数值,随便给出数字属于拍脑袋的判断。 虎嗅:你现在和全球具身智能最前沿的这一批人联系多吗? 大家的关注点主要是什么?

卢策吾:一直有紧密的联系和交流,目前全球前沿研究者的观点非常一致,核心关注三个方向:一是无本体数据采集量起来之后,如何在数据技术和模型技术上实现规模化,也就是 scaling law 相关的问题; 二是具身模型的评估问题,如何实现模型好坏的规模化定量评估,把评估转化为实在的指标,这也是行业长期的难点; 三是围绕如何实现模型的规模化,让scaling law 真正在具身模型上落地。 2、大家往往只关注数据量,忽略数据增量的斜率 虎嗅:落地最大的卡点是数据。 对具身大脑来说,多大的参数算够? 多大的参数要配多少数据?

有定论了吗? 卢策吾:这些都需要靠实验和论证得出,没法拍脑袋确定。 我感觉参数规模可能还需要往更大走,模型泛化能力越强,需要的参数规模就越大。 虎嗅:对于穹彻的模型,你最看重的一个内部指标是什么? 卢策吾:我们的模型有两个核心特点:一是全链路无本体采集,能大幅提升动作灵巧性; 二是一直以力为核心,能够兼容力模型,把之前的力模型整合到一体。 从更通用的层面来说,核心考核的是模型的泛化性和鲁棒性,最硬核的考核指标是部署成本,具体包含两个维度:一是有多少比例的任务能通过后训练做到99%的鲁棒性、达到商用可用程度;

二是把任务做到99%鲁棒性需要的后训练成本。 能做到99%鲁棒性的任务越多、后训练成本越低,就证明模型的泛化性和鲁棒性越强。 虎嗅:为什么是这两个指标? 卢策吾:这个指标和商业规模化落地直接挂钩:过去落地一个任务需要整支团队,后续逐步发展到一个工程师就能落地、普通人就能落地,最终到一句话就能完成部署时,就达到了家用的最低成本要求。 无论是 To B 还是 To C 落地,都是模型能力逐步提升、部署成本逐步下降的一脉相承的过程; 如果落地需要依赖数量有限的专业人员,就不可能实现规模化。

虎嗅:具身智能的数据 scaling law 到底要走多远才能出现像 GPT-3.5那样的泛化能力? 未来有没有可能出现不需要堆数据的新架构? 卢策吾:我觉得不大可能出现不需要 scaling 的架构,世界上没有免费的午餐。 智能本质是对世界信息的编码,必须输入足够的信息量,区别只在于编码效率的高低。 大家讨论 scaling law 往往只关注数据量,忽略了数据增量的斜率,也就是模型消化数据的效率。 目前我们的模型从零学习一个技能只需要较短时间内,学习效率还有很大提升空间。

关于什么时候能达到 GPT-3.5级别的泛化,我不做具体的时间预判。 从我们内部实验来看,scaling law 的趋势已经非常明确,目前内部的数据吞吐量在持续提升,更关键的是数据增长、模型消化数据的斜率也在不断提高。 我更关注两个核心指标:一是单位成本、单位时间内有效数据的扩张速度,核心是数据携带的信息量; 二是模型消化单位数据的效率提升速度。 只要这两个指标保持加速度提升,自然会快速到达泛化的临界点,也希望业界更多关注这两个维度,而不是执着于猜测具体时间点。

来源:虎嗅 · huxiu.com

00