昆仑万维 Skywork AI 发布并开源 Matrix-Game 4.0：单张 RTX 5090 实时运行的游戏世界模型

一水 发自 凹非寺 量子位 | 公众号 QbitAI 不er，印象中非常吃算力的「游戏世界模型」，居然就这样被塞进一张RTX 5090里了？ ！ 而且身上还挂着两个非常诱人的标签： 国产、开源 。 就在刚刚，昆仑万维旗下Skywork AI发布 Matrix-Game 4.0 ，据悉这是 「全球首款可在单张消费级显卡上实时运行的游戏世界模型」 。 快速翻到Demo，坦白讲480p的画质确实还有提升空间，但再看几秒： 诶，不对劲！ ！ 以前常见的游戏世界模型Demo，是玩家按一下方向键，模型接着往前生成画面。

世界能逛，场景会动，但底下究竟有没有一套真正运行的游戏，不太好说。 但Matrix-Game 4.0已经不太一样了。 玩家中弹，先掉的是盾牌耐久； 盾碎了，才开始扣血； 等血量归零，游戏真就结束了。 好家伙，原来不只是画面在动，背后的游戏逻辑也跟着跑起来了啊。 更离谱的是，这一整套没躺在什么豪华算力集群里。 就一张RTX 5090。 按下键，不到0.15秒画面就有反应； 一秒能跑60帧； 整套系统占用显存峰值约18.5GiB 。 玩法甚至还能改。

让Coding Agent动动游戏代码，原本的计时赛，转眼就能变成拦截目标车辆的追击战。 一张卡，托起一局由AI实时画出来、又按代码规则运行的游戏。 怎么做到的？ 给视频模型套上Harness 这一次，Matrix-Game 4.0没走寻常路。 团队给出的核心判断是： 与其让视频模型隐式记忆世界，不如让游戏引擎显式维护世界。 以谷歌Genie为代表的路线，率先让玩家走进AI实时生成的世界，走到哪里，模型就把画面生成到哪里。 但世界能逛，不等于游戏能玩。 画面偶尔多一棵树、少一扇窗，顶多让人出戏。

可要是NPC的位置、玩家的血量、任务的输赢也由模型临场发挥，那还玩啥啊？ ？ 所以比画面穿帮更麻烦的，其实是规则脱缰。 在团队看来，现阶段的视频生成更像一种「符际翻译」，负责把文字、动作和场景信息转成连续画面。 「画」这件事，视频模型确实擅长。 可过去常见的路线，偏要让它既记住整个世界，又算清游戏规则，还得不停往下生成画面。 好家伙，一个模型直接身兼数职，短时间还能撑住，时间一长你懂的。 。 。

△ 图片由AI生成 所以到了Matrix-Game 4.0，团队干脆把活儿拆开： 游戏引擎负责把游戏跑对，视频模型负责把画面画好 。 这么一拆，世界状态就不再藏在模型生成的像素里，而改由代码明确记录。 即使视觉生成偶尔出现偏差，也不会直接改写玩家血量、道具归属和任务进度等。 团队把这套思路概括为 「给视频模型套上Harness」 ： 1、玩家先用自然语言说出想法，Coding Agent负责把它写成游戏代码； 2、游戏引擎当「裁判」，负责维护世界状态、执行游戏规则，并画出一份不会乱的结构草图；

3、视频模型则当「画师」，照着草图实时生成最终画面。 说白了就是，该确定的交给代码，该发挥的交给AI。 至于这套分工效果如何，直接看Demo。 最开始，引擎输出的还是一片由方块、骨架和简单地形组成的结构画面 。 看着多少有点「毛坯房」的意思。 但人物在哪、道具在哪、谁在移动，已经交代得明明白白。 等视频模型接手，城堡、草地、材质和光影被实时补齐，刚才还是3D草模，转眼就成了完整的游戏画面。 画得出来是一方面，底下的规则也真在跑。 就拿盾牌来说，玩家拾取后，引擎会把它正式写进游戏状态。

中弹时先扣盾牌耐久，盾牌失效后再扣角色血量； 等血量归零，游戏结束。 视频模型负责把过程画出来，具体怎么结算，全由代码说了算。 更有意思的是，这些规则还能继续改。 想提高武器射速，直接用自然语言告诉Coding Agent。 底层代码一改，武器的实际攻击逻辑也跟着变化。 一个对战场景，刚好把整套方法跑了一遍： Coding Agent负责改，引擎负责算，视频模型负责画。 AI生成的世界，也由「看起来像游戏」，开始走向「真正按游戏规则运行」。 一张RTX 5090，怎么把游戏跑起来？

思路捋顺了，下一关才是真正的硬骨头： 算力 。 毕竟让视频模型实时画游戏，听起来就不像一张消费级显卡能扛住的活儿。 几乎同一时间，英伟达研究团队也发布了 StreamRender-H3 ，同样采用「代码运行世界、视频模型生成画面」的路线。 但其官方展示的部署配置，是 8张GB200 GPU 。 每个视频块采用两步去噪，每个流式生成步骤的扩散渲染耗时为218ms。 这还只是扩散渲染阶段。 算上视频块收集、解码和播放等环节，如果按照两个视频块形成一次完整反馈来计算，端到端延迟约为 545ms 。

按这组数据粗略对照，Matrix-Game 4.0从按键到画面显示约需112ms，约为StreamRender-H3估算端到端延迟的 五分之一 ； 硬件配置则从8张GB200， 降到了一张RTX 5090 。 当然，两者的分辨率和延迟统计口径并不完全一致，不能直接排座次。 但从工程实现来看，单张消费级显卡能够跑到这个速度，已经足够有冲击力。 而这张卡，也不是突然就扛住了一切。

从Matrix-Game 1.0开始，团队一直在给游戏世界模型补课： 1.0先让生成的世界听懂玩家操作，2.0解决实时，3.0补上长时记忆，3.5继续稳住空间和角色 。 △ 图片由AI生成 到了4.0，团队开始直面另一道题： 这个实时生成、还能记住的世界，什么时候才算一款游戏？ 答案前面已经揭晓了，那就是把规则交给代码和游戏引擎。 但要让规则和画面在一张RTX 5090上同时跑，光是重新分工还不够。 还得从工程角度给整条链路减负 。 第一减：减少模型需要自己猜的东西 第一步，是把生成任务变简单。 「凭空作画」？ ？

NONONO，哪有「照着草图搞精装」来得省力。 为了教会模型这项本事，团队用UE5制作了一批成对数据： 一边是结构画面，一边是对应的精细画面 。 前者不管材质、光影这些花活儿，只保留场景结构、物体位置和运动轨迹，后者才是最终要生成的效果。 这么练下来，游戏引擎只要先把结构画面跑出来，视频模型就能照着补全材质、光影和环境细节。 但光有草图还不够 。 同一个方块，到底是盾牌、NPC还是路障，模型看不出来。 于是系统还会读取引擎提供的可见对象和实时状态，动态拼出Caption，告诉模型画面里有什么、正在发生什么。

结构画面负责交代「在哪」，动态Caption负责说明「是什么、在干什么」 。 好家伙，图纸和说明书都递到手里了。 这下，视频模型只管照着画。 第二减：减少模型需要自己记的东西 一张图画准了还不够，游戏得一直往下跑。 问题是，视频越长，历史画面就越多。 每次生成都让模型从头翻记录，不仅费劲，前面画歪的一点还可能被一路带下去。

不er，关键画面直接递到眼前不香吗~ Matrix-Game 4.0基于Wan2.2 5B Fun Control改造出了V2V模型，每次生成除了参考当前的结构画面，还会调用空间记忆参考图、用于衔接的首帧，以及缓存中的近期历史信息 。 该在哪、长啥样、怎么接，全提示到位，画着画着跑偏的概率自然也就降下来了。 第三减：减少模型需要计算的东西 最后一刀，直接砍向计算量本身。 扩散模型生成画面，有点像从满屏噪点里反复修改，改一遍不够，再改几遍，直到画面成形。 游戏可等不了这么久。

团队通过少步自回归蒸馏，把这个过程压缩到只改1步或2步，而且一次只生成四帧 。 算得快还不够，GPU等着CPU下指令、历史数据来回搬运，同样会拖慢速度。 于是CUDA Graph、FP8融合算子、KV环形缓存和轻量编解码器也全上了： 能少算一次就少算一次，能不搬的数据就别来回搬 。 最终，文本编码器、DiT和VAE全部常驻一张RTX 5090。 单步去噪时，视频模型的稳态生成速度达到83 FPS，两步去噪时约57 FPS。 实际游戏以60 FPS运行，玩家按下按键后，不到0.15秒就能看到画面响应。

讲真，看到这里，我觉得单卡60帧真正狠的，已经不是「60」这个数字了。 以前只能躺在算力集群里跑的游戏世界模型，现在一张RTX 5090，就能直接搬上开发者的桌面。 更绝的是，硬件门槛刚砍下来，昆仑万维转头又来了一记： 开源 。 中国AI把开源卷到游戏世界模型 「开源」这个动作，放在游戏世界模型里，分量比想象中更重。 每次看到世界模型发布，我都会有种熟悉的感觉： Demo确实炸。 雪山、城市、沙漠随便生成，人物按下方向键就能往前走，视频在社交平台刷得满天飞。 然后呢？ 然后就没了 。

模型权重拿不到，推理代码看不见，开发者更别说下载到本地，改个规则、换个场景试试。 简单扫一眼行业就会发现，大多数玩家开放的是产品、API或者研究演示， 真正把模型和代码交到开发者手里的，还是少数 。 所以Matrix-Game 4.0这波开源，主打一个用着不烧心（手动狗头）。 划重点，这还不是今天突然想「开」了，这家公司从Matrix-Game 1.0开始就一直走开源路线。 回头看，这么早就选择把技术摊开，感觉一个很重要的原因是： 世界模型赛道越来越热闹，技术路线却远远没有收敛。

△ 图片由AI生成 有人继续押注视频生成，有人主攻3D空间，还有人重新请回游戏引擎。 看着都叫世界模型，底层解法其实已经越走越不一样。 唯一逐渐清晰的是，光会生成视频已经不够看了，世界得能进去、能交互，最好还能长期运行起来。 至于这一步到底怎么迈，各家还在疯狂试错。 也正因为没有标准答案，开源才有了用武之地 。 模型往开发者手里一交，能不能复现、换个场景会不会翻车、还能整出什么新玩法，直接上手roll一遍。 好不好使，社区自然会给答案。 而这套打法，咱其实熟得不能再熟了。

大语言模型开源，多模态继续开源，现在以昆仑万维为代表的中国开源力量，顺着就卷到了游戏世界模型 。 好家伙，一个新赛道刚热起来，熟悉的配方已经端上桌了。 当然，Matrix-Game 4.0现在还只是个开始。 480p画质确实谈不上多精细，距离更稳定、更长时间、更多人同时玩的AI世界，也还有一段路。 但路都还没定，答案当然也不能只让几家公司关起门来写。 谷歌Genie之后，国产玩家这次给出的解法是： 代码负责让世界守规矩，AI负责把世界画出来 。 一张RTX 5090就能跑，模型和代码也一起交了出来。

至于后面还能被开发者玩成什么样？ 只能说： Matrix-Game 4.0大舞台，喜欢您就来。 【大舞台传送门】： https://github.com/SkyworkAI/Matrix-Game https://huggingface.co/Skywork/Matrix-Game-4.0 https://matrix-game-v4-0.github.io/page/ 一键三连 「点赞」「转发」「小心心」 欢迎在评论区留下你的想法！ — 完 — 🌟 点亮星标 🌟 科技前沿进展每日见