PI联合创始人谈机器人瓶颈

在具身智能与机器人强化学习领域，加州大学伯克利分校教授、Physical Intelligence（简称PI）联合创始人谢尔盖·莱文是一位绕不开的学者。 作为全球机器人学习领域引用率最高的科学家之一，他早在谷歌大脑时期主导的机械臂集群抓取实验，就奠定了业界对机器人自主采集数据的认知基础。

2024年，莱文与前Google DeepMind资深科学家卡罗尔·豪斯曼等人共同创立了Physical Intelligence，迅速获得亚马逊创始人贝索斯、OpenAI、Thrive Capital等知名机构的大额投资，今年估值已超过110亿美元，据彭博社10月报道，新一轮融资谈判的估值约200亿美元。 与执着于打造特定形态人形机器人的硬件厂商不同，PI的核心目标是构建物理世界的通用基础大模型，让不同形态的机械臂、轮式设备或双足机器人，能够像加载通用操作系统一样，具备理解物理世界、拆解任务并完成精细操作的能力。

本期内容源自硅谷早期投资机构South Park Commons的播客《Minus One》，由该机构合伙人、前Dropbox首席技术官阿迪蒂亚·阿加瓦尔深度对谈谢尔盖·莱文。 在对话中，莱文复盘了从初代模型π0到最新公开的π0.7的架构演变，阐释了为何自动驾驶漫长的数据冷启动不能照搬到通用机器人上，剖析了垂直一体化与横向平台模式的产业分工逻辑，并分享了他对当前“世界模型”技术热潮的冷思考。 本期内容来自Minus One播客，2026年10月22日播出，原视频时长42分钟。

以下为精选对话内容，全文约8000字，阅读时长约8分钟。 本期精彩观点●互联网上的信息总量，在真实的物理宇宙面前几乎可以忽略不计。 绝大多数物理现象都无法在虚拟网络中找到。 要让机器真正理解客观世界，它就必须成为一个在实体环境中交互的机器人。 ●在面对复杂的智能难题时，把问题做大，往往比把问题做小更容易解决。 自然语言处理的突破，不是靠单独研发特定的英汉翻译模型，而是靠统一处理所有语言任务实现的。 通用机器人同样如此，单纯死磕某一特定硬件是死胡同，必须直接面向广泛的机器人操作任务。

●纯靠物理硬件在封闭环境里试错存在明确上限。 机器人不仅需要动作经验，更需要庞大的先验知识，而后者正是互联网预训练大模型的核心价值所在。 ●自动驾驶之所以经历了长达十余年的冷启动，是因为其场景过于特化且试错代价极高。 通用机器人可以从海量低风险的日常操作中学习物理常识，再将其迁移至高风险任务中。 ●不要过度陷入“世界模型”等新概念的理论争辩。 无论采用扩散机制、视频模型、世界模型还是大语言模型，都属于下游的技术选型； 真正决定具身智能天花板的，始终是高质量物理交互数据的获取路径。

●机器人商业化落地的现实路径，是先实现“笨拙但自主”。 通过人工接管数据教会机器人应对异常，再依靠强化学习逐步消除笨拙； 这一步目前还没有大规模用于部署，只在实验室实验里跑通。 ●对机器人而言，视觉推理不是比文本推理更好，而是补上文本最难给出的那部分。 相比于用语言描述复杂的空间坐标，让单独的图像模型生成一张“机器人手指碰到按钮”的图，能直接告诉机器人该怎么做。

从游戏图形学到真实机器人：会议室里的数据实验与认知转折问：你早年在斯坦福主要研究计算机图形学，后来转型做物理机器人控制，并在加州大学伯克利分校和谷歌开展了大量开创性研究。 这一技术演进背后的脉络是怎样的？ 谢尔盖·莱文：我在大学最初的想法其实是做电子游戏，但在游戏公司实习后，我发现那只是一份和别处没什么两样的公司工作，充斥着流程内耗。 我希望探索技术难度更高、组织结构相对简单的领域，于是转向学术研究。 因为对虚拟交互环境感兴趣，我选择了计算机图形学。 图形学本质上是对物理世界的模拟，而其中最难模拟的是人类行为。

为了让虚拟角色表现得像真人一样，我开始深入研究角色运动控制。 博士快毕业时，我觉得如果这项技术最终只能用来改善好莱坞特效或游戏动画，未免有些局限。 既然算法能驱动虚拟角色完成复杂的物理动作，理论上它也应该能控制真实的机器人。 为了补齐硬件控制方面的短板，我申请了加州大学伯克利分校彼得·阿贝尔实验室的博士后。 面试初期其实并不顺利，彼得曾认为角色动画与当时实验室的方向不符； 但一周后他改变了主意，给我发来了录用通知。 这个转折让我真正接触到了真实的机器人系统。

后来在谷歌工作期间，我们团队尝试验证一个想法：要让机器人掌握通用能力，必须采集海量的物理交互数据。 我们在一个改造过的会议室里部署了一大批机器人，让它们日夜不停地抓取各种形状的物体。 抓取被视为物理操作的最小原子单位，我们希望通过大量机械性试错让机器人自主积累经验。 这个方案最终遇到了一堵无形的墙：机器人可以把特定场景的抓取动作练得非常精准，但完全无法将能力迁移到其他任务上。 因为复杂的物理操作不仅需要机械动作经验，更需要对现实世界的先验理解。 如果把一个新生儿孤立在空房间里，他也不可能自行领悟复杂的工具使用逻辑。

机器人必须被赋予基础的物理常识，而当时人工智能社区通过在互联网海量数据上预训练大模型，恰好提供了这种先验常识的获取路径。 把大规模物理交互与大模型的常识储备结合起来，才构成了完整的技术闭环。 创立Physical Intelligence与首代基座模型π0的工程逻辑问：很多资深学者会选择长期留在顶尖实验室，是什么原因促使你走出象牙塔，参与创立了Physical Intelligence？ 谢尔盖·莱文：这个想法最初来自卡罗尔·豪斯曼（现Physical Intelligence首席执行官）。

在一次晚餐中，他提出全球一定会诞生一家在机器人底层智能上取得核心突破的研究机构，而且很可能只会有一家，既然历史窗口已经出现，就应该全力尝试。 当时，我们在伯克利、斯坦福以及Google DeepMind已经有一批长期共事、理念契合的研究伙伴。 大家都在这个方向上深耕已久，也都觉得时机到了。 对于硬核技术研发而言，早期的核心壁垒不是写在纸上的商业计划，而是一支有共同认知、且愿意在极为繁复的工程细节中长期摸爬滚打的团队。 问：团队发布的首个模型π0引起了行业广泛关注。

你们采用视觉语言模型作为基础骨干，并结合了连续动作流生成机制。 确立这种架构的技术考量是什么？ 谢尔盖·莱文：机器人基座模型的设计可以完全从第一性原理推导：在输入端，机器人感知物理世界的主要媒介是图像，无论是普通彩色相机、深度相机还是激光传感器，其本质都是高维的空间图像信息； 在输出端，机器人需要执行高频的物理指令，通常是描述各个关节角度变化、末端执行器空间位姿或电机扭矩的连续数值向量，一般由30到50个数字组成； 同时，为了让模型具备通用性，自然语言是最直接的任务指令载体。

面对这个框架，通常有两种开发路径：第一种是直接在有限的机器人操作数据上进行端到端的模仿学习。 这种方法在学术界很常见，但极易失效，因为单纯的本体操作数据远远无法覆盖物理世界的多样性。 第二种路径是寻找一个具备互补能力的成熟模型作为底座。 机器人物理数据最欠缺的是通用常识，而互联网预训练大语言模型恰恰具备极高密度的常识理解，唯独缺乏与物理实体的结合。 因此，以视觉语言大模型作为先验知识底座，向下接入基于流匹配的高频连续动作生成模块，是最合乎逻辑的骨干方案。 需要明确的是，π0并不是终极形态，它更像是一个骨架。

有了这个骨架，我们后续才能把逻辑推理、任务拆解和多模态理解逐步填充进去。 问：随后推出的π0.5开始展现出更强的泛化能力，能够应对未曾专门训练过的家庭环境。 这一代模型的技术关键点是什么？ 谢尔盖·莱文：核心突破主要体现在两个维度：第一，是数据策略的研究化。 机器人数据采集不只是工业问题，同时也是研究问题； 它之所以这么难，正是因为要把经济账、工业规模的运营和研究结合在一起。 究竟该收集哪些场景的物理分布、如何用可控的成本提高长尾环境的覆盖率，往往需要边扩大数据规模边进行算法验证。

第二，是为物理控制引入了内部推理机制。 如果直接对模型输入“清理厨房”这种抽象的高层指令，纯动作执行网络通常无法有效响应。 因为这句指令与底层电机毫秒级的高频微调之间，存在巨大的认知断层。 在π0.5中，模型学会了类似代码编写助手的中间规划。 接收到宏观指令后，它会先通过思维链将其拆解为一系列离散步骤：“先拿起餐盘； 再拿起抹布； 然后擦掉洒出来的污渍”。 当长周期任务被细化为具有明确物理边界的子任务后，动作生成模块才能稳定执行。

问：最新发布的π0.7进一步展示了开箱即用的泛化表现，甚至能够直接操作陌生的厨房电器。 从0.5到0.7跨越的核心是什么？ 谢尔盖·莱文：π0.7的设计重心就是开箱即用的零样本泛化。 过去要让机器人掌握一项新操作，通常需要人工进行动作示教并针对具体任务做模型微调； 而在π0.7中，操作人员可以直接使用自然语言向机器人讲解任务步骤。 即使它从未接触过某款厨房电器，模型也能自己摸索出用法； 而且它能把复杂技能拆成步骤，只需监督这些步骤、不必再监督具体动作，省去了针对每个任务的微调过程。

更关键的一点在于：我们把内部推理拓展到了视觉空间模态。 在实体世界中，语言描述空间位置是极为低效且模糊的。 如果对机器人说“请按下烤面包机的电源键，位置在右边缘往左3英寸处”，这类指示不仅冗长，而且容错率极低。 而在π0.7中，模型可以直接调动视觉先验，在内部生成一张目标意象图：画面中清晰呈现出机器人的机械手指正准确接触在电源开关上的理想状态。 这张目标画面一旦生成，就等于直接告诉了机器人该怎么做。 这种基于视觉意象的空间推理并不比文本推理更好，两者是互补关系：它提供的恰恰是最难从文本里得到的那部分信息。

目前，负责生成目标画面的模块依然是一个独立的模型组件，它的输出