跳到正文
原文
北京智源研究院· 量子位·· 1 天前精选AI 评分70

李飞飞掌机版世界模型成果发布

李飞飞把世界模型装进掌机!交出AMD收购后首个结果

AI 摘要

李飞飞World Labs在被AMD收购一个月后,推出推理优化版世界模型Frameboy,将其塞入物理掌机中实现15fps实时交互,通过自回归大模型Atlas和工程优化,大幅降低了世界模型实时交互的门槛,让用户可通过摇杆操控视角

正文 · 中文整理稿

李飞飞World Labs带着新成果火速回归! 资金到位、算力到位,他们反手就把交互门槛狠狠打下来了:之前只能眼馋的Atlas,这回终于有了一个「上手就能玩」的推理优化版Frameboy。 团队成员Andy Cheng直接把这套自回归生成系统塞进了一台物理掌机里。 摇杆一掰,视角一推。 云端GPU在15 fps的节奏下,逐帧为你搓出来一个全新世界。 它底层跑的是World Labs那个号称掌握像素级相机控制的自回归大模型Atlas。 以前我们玩的世界模型是什么画风?

扔一张图进去,等上几分钟,吐出一段摇摇晃晃的视频,你只能当个观众。 镜头稍微往后拉一点,画面就开始崩了。 这回Andy Cheng拿掌机实测的交互,换了套玩法:视角自由漫游:摇杆往左一掰,相机参数传到云端,模型开始推测左侧从未存在过的物理细节,光影和景深即时重组。 单图生成三维场:只给一张普通俯拍图或一句Prompt,Atlas就能以这层像素为基础,当场脑补出整座斯坦福广场、哥特庭院或深山古村。 云端逐帧渲染:画面以最高15 fps从云端GPU串流到屏幕上,延迟控制在了体感能接受的范围内。

说白了,你按下的每一次方向键,都在让模型现场重新计算一次物理细节。 Atlas那么大一个自回归怪物,到底凭什么能跑出15 fps? 先理清它的「前身」。 去年的轻量化模型RTFM虽然快,但本质上只是在几个已知视点之间做插值。 而Atlas是站在海量数据上堆出来的真·大模型,能「无中生有」地从零生成世界,还能保持相当强的3D空间一致性。 但大模型的代价就是推理延迟。

要让手指和像素产生即时反馈,World Labs在工程架构上玩了一手绝活:Frameboy运行的并非Atlas的完整原始权重,而是一个经过极端优化的专用变体,在保留极新高视点合成能力的同时,将单帧生成的算力开销压榨到了极限。 不仅如此,他们还顺手把这套实时管线缝合进了自家编辑器Viewfinder里。 开发者可以一边用Atlas按帧堆砌自己的世界,一边直接拉起Frameboy的实时浮层,像打游戏一样开着第一人称视角杀进场景里乱窜。

从算法巨兽到掌中玩物,这中间省下来的显存和Token账本,显然是AMD入主后拿硬件工程底座狠狠洗刷过的痕迹。 算力成本一旦继续下探,实时交互的门槛自然也会跟着进一步降低。 目前打开Frameboy官网,填一下注册就能体验:整个交互界面就是一个复古掌机面板,内置了多个现成场景供人随意穿梭漫游。 觉得官方预设的不过瘾,还可以拖入一张自己的实景照片或输入提示词,系统会以此为锚点开始逐帧向外延伸推演。

来源:北京智源研究院 · hub.baai.ac.cn

00