跳到正文
原文
北京智源研究院· 智源社区·· 4 天前精选AI 评分70

刘世隆专访:AI下一步

专访普林斯顿刘世隆丨人类是超强 Router,Agent 只是刚起步

AI 摘要

即将入职哥伦比亚大学的青年学者刘世隆,从工业工程跨界计算机视觉,通过 DAB-DETR、DINO 到 Grounding DINO 的代表作,完成了视觉检测领域的跨越。他转向多模态 Agent 并聚焦自进化智能体

正文 · 中文整理稿

当开放世界检测模型 Grounding DINO 在 Hugging Face 上的月下载量突破两百万次,成为全球开发者广泛使用的工具时,它的核心作者刘世隆,正站在计算机视觉与具身智能的交汇点上,思考着 AI 的下一步。 这位即将入职哥伦比亚大学担任教职的青年学者,本科从工业工程跨界计算机,靠打比赛练就了扎实的工程底子。 从博二提出 DAB-DETR,到博三做出刷榜 COCO 的 DINO,再到将 Grounding DINO 落地为开源爆款,他完成了视觉检测领域的扎实跨越。

ChatGPT 问世后,他转向多模态 Agent; 在普林斯顿做博士后期间,他全面聚焦自进化智能体,提出了 Alita 等框架,并通过博客为领域内模糊的 RSI 概念建立了清晰的“三层分类法”(输出层、框架层、模型层)。 当模型的泛化能力成为普遍追求时,他却直言坚信统计学习理论,认为不应苛求完美的泛化 ——“干任何事情都是不断朝终点搜索的过程,只要评估能减少搜索分叉就有价值。 ”在他看来,走向具身 AI 并非单纯堆砌模型规模,而是需要直击虚实鸿沟,寻找真正务实的破局点。

回看他的研究路径,核心其实很纯粹: 不盲从宏大叙事,只用底层信念引导研究,再把研究做成对大家有用的产品。 未来 CV 与 Robotics 该怎样结合? Agent 应该依据什么判断自己真的进步了? 做机器人专有模型的意义是什么? 在这篇深度专访中,刘世隆将回顾他从计算机视觉(CV)代表作起步,一路延伸至具身 AI 的研究轨迹,深入探讨自进化智能体(Self-evolving agents)、世界模型(World Model)、以及 Agent 在科学发现中的应用。

不应该期待 robot 在适配一个极小的 domain-specific benchmark 的同时,还保持一定的泛化能力。 基于统计学习理论,泛化执念需要被打破。 在复杂任务中,决定 “什么时候做什么、把任务交给谁”需要极高的智能。 人的路由调度(routing)能力远强于模型。 怎么做一个更好的 Router,是下一步 AI 要大力提升的关键方向。 World Model 最大应用场景在一些非常 niche 的领域,下围棋也好、拧魔方也好,它可以完全模拟状态,拥有更好的搜索能力与搜索效率,甚至可以超越大模型。

科学发现极高的容错率契合 AI 特质。 但其壁垒在于:物理环境(Wet Lab)验证困难,且大量核心知识属于极难被 formalize 的隐性直觉(“老师傅手感”)。 找问题基于底层信念:从底层逻辑推演 “什么可做、什么不可行”,并基于对未来趋势的判断走在前面,做研究就会变得非常容易。

图片

来源:北京智源研究院 · hub.baai.ac.cn

00