跳到正文
原文
北京智源研究院· 新智元·· 15 天前精选AI 评分75

RSI两大里程碑发布

RSI两大里程碑发布!单人手搓千亿模型,英伟达大佬教「保命」法则

AI 摘要

最近,「递归自我改进」领域有两项重磅发布,初创公司Mirendil用1名研究员和不到1000万美元算力,手搓出1000亿至5000亿参数的编程基座模型Mirendil-Base,全程AI智能体编写代码并完成实验

正文 · 中文整理稿

新智元报道 我们刚刚见证了历史!最近,「递归自我改进」领域有两项重磅发布!在过去十年里,预训练一个基座大模型,是科技巨头的「战备竞赛」。在开源社区,这需要几十名顶尖专家。在硅谷AI实验室,这需要几百人,需要有人专攻架构与扩展定律,有人清洗数万亿Token的数据,还有人日夜盯着成千上万张GPU防止集群崩溃。但就在今天,这道看似不可逾越的铁幕,被硬生生撕开了一道口子!两家初创公司几乎同时扔出了王炸,把「递归自我改进RSI」从科幻概念直接砸进了现实。消息一出,整个硅谷AI圈彻底沸腾,无数从业者后背发凉,连夜失眠。

1个人单挑百人军团! 两款神级模型横空出世 今天的第一颗核弹,来自初创公司 Mirendil。 他们宣布了一项把「人效杠杆」推向极致的疯狂实验:仅用1名研究员就从零手搓出了一个参数量在1000亿到5000亿(100B–500B)之间的编程基座模型——Mirendil-Base! 全程不到1000万美元的算力(含所有前期探索实验和Agent的Token消耗)、耗时3.5个月。

最让人头皮发麻的是细节:项目从一个空荡荡的代码库开始,没有买任何商业授权数据,没有用任何模型蒸馏或合成数据,纯粹基于PyTorch、JAX和公开的GitHub代码与网页数据。 那过去需要一个大厂团队分工协作的训练基建、模型架构改进、数据配比调优、底层算子(Kernel)优化,都是谁干的? 答案是:AI智能体(Agents)编写了超过99%的代码,自己跑完了所有实验,甚至自己诊断训练故障! 而那唯一的一名人类研究员,在这3.5个月里只干了两件事:决定尝试什么研究方向,以及判断哪些实验结果值得相信。

你以为单人训出来的模型只是个「玩具」? 看一眼评测结果,所有人都沉默了。

在预测代码库任务中,Mirendil团队直接拉出了目前市面上最强的五个怪兽级编程模型同台竞技:Kimi-K3(总参数2.8T / 激活104B)DeepSeek-V4-Pro-Base(总参数1.6T / 激活49B)Inkling(总参数975B / 激活41B)GLM-5.3(总参数753B / 激活40B)Nemotron-550B-Base(总参数550B / 激活55B)面对这些动辄上万亿参数、背后站着数百人顶尖团队的MoE(混合专家)巨头,100B–500B规模的Mirendil-Base不仅打得有来有回,甚至在多个训练后新发布的外部代码库测试中拿下了惊人的高分!

以跨分词器公平对比的bits per byte交叉熵衡量,越低越好更恐怖的是,这只是个开始。 Mirendil透露,更大的Mirendil-Base-Large(500B–2T参数)已经训练了80%,而旗舰版Mirendil-Base-XL(2T–10T参数,真正的十万亿级巨兽)训练进度刚到19%,其表现就已经逼近了Large版本目前的得分! 而且,他们的下一代模型,将直接由Mirendil-Base自己参与构建。

另一家大牛田渊栋的初创企业Recursive,正式发布了开放权重的400亿参数(40B)编程模型——Flint。 在短上下文场景下,Flint在搭载M4 Pro芯片的MacBook Pro上,每秒可生成超过125个Token; 在64GB版NVIDIA RTX Spark上,每秒可生成超过150个Token,速度最高可达同类模型的两倍在智能体编程基准测试中,在总参数量低于500亿的混合专家(MoE)模型中,Flint勇夺鳌头。 它的性能足以媲美总参数规模相近的最强稠密模型,运行速度却快得多。

更让人吃惊的是,Flint本身只是「附赠品」,真正的主角是背后的Eureka Machine——一套自动完成「提想法→实现→测试→决定下一步」完整研究循环的系统。 用Flint这个实际交付的模型,证明自动化研究确实能造出东西,而不只是跑玩具实验。 Recursive的目标是打造能够递归自我改进的超级智能,用来自动化知识发现。 Mirendil是「由人指挥AI,把人力和时间压缩到极致」; Recursive则是「用Eureka Machine让研究过程本身高度自动化」。

两家公司不约而同地瞄准了RSI:AI编程能力越强➡️AI搞科研的速度就越快➡️造出更强的下一代AI。 闭环,正在我们眼前合拢! 加州大学伯克利分校教授、Databricks联合创始人Ion Stoica等大佬纷纷转发惊叹。 正如业内人士所言:「很快,一切就只取决于两件事:你有多少算力,以及你的『发现循环』做得有多好。 」初级研究员破防了,NVIDIA大佬紧急喊话 历史的车轮滚滚向前,但被碾过的人却感到了刺骨的寒意。 看到Mirendil和Recursive的消息后,一位刚入行的初级研究员彻底破防了。

他深夜给英伟达(NVIDIA)资深研究员Ali Hatamizadeh发去私信,字里行间全是沮丧和恐惧:整个预训练过程就一个人,没有研发团队,什么都没有… … 如果一个人加一个计算集群,就能干完过去整个团队的活儿,那我花了这么多年苦心积累的专业能力,岂不是还没捂热就已经过时了? 这种焦虑,今天正在无数AI实验室和程序员群体中疯狂蔓延。 面对年轻同事的恐慌,英伟达研究员Ali没有熬鸡汤,而是写下了一篇极其硬核、甚至有些扎心的长文,向所有技术人紧急喊话:别被营销标题吓破了胆! 你并没有过时,但你的「饭碗」确实已经换了!

Ali撕开了「单人训千亿模型」背后的底层逻辑,并指出了普通研究员在RSI(递归自我改进)时代的四大生存法则:第一,认清现实,别再靠「复读旧配方」混日子了Ali直言,RSI(递归自我改进)确有其事。 今年9月,OpenAI就披露其研究部门记录的智能体工作量,已经达到了每个人类工作日对应3.1个智能体工作日,并计划在2028年3月前实现「自动化AI研究员」。 如果你的五年规划还假设AI不会接管预训练,那趁早改规划吧。 但是,为什么Mirendil的1个人能训出模型? 因为常规预训练的「配方」已经彻底成熟且公开了!

各大厂早就把开源权重、详细的技术报告喂到了嘴边。 只要算力管够,照着公开的常规架构(比如加个滑动窗口注意力),让AI把代码写出来,训出个好模型根本不难。 这时候解决的是「执行和预算问题」,而不是「科研问题」。 「如果你的主要工作,只是把去年的训练方案稍作调整、换批数据再跑一遍,那么这类工作的空间正在迅速缩小。 」这是最让人不舒服的真相:靠「复现已有成果」当炼丹童子的旧饭碗,已经被AI砸碎了。 第二,AI吃掉了执行力,「判断力」成了你的天价新饭碗既然AI写了99%的代码,那为什么还需要人类?

因为自动化科研在最关键的环节上,根本还没跑通! 比如在EinsteinArena平台上,AI智能体确实刷新了11个未解数学问题的纪录(把11维空间中接吻数的最佳已知下界从593提高到了604)。 但前提是:人类事先定义好了问题,并写好了自动评分代码。 还有前阵子吹上天的「全AI生成论文通过同行评审」,扒开细节一看:它只通过了一个接收率高达70%的研讨会(Workshop)初审,非主会,而且后来还撤稿了。

在OpenAI内部,那些人类需要花4—8小时完成、而智能体最终成功完成的任务中,超过一半仍然需要至少一次人工干预。 为什么? 因为智能体给出答案极快,语气永远自信满满。 它会兴冲冲地跑来告诉你:「某项指标暴涨了3个点! 」还贴心地附上了消融实验表格和一套自圆其说的解释。 但实际上呢? 这3个点可能完全是假象——它来自评测中的数据泄漏、数据加载器的底层Bug、碰巧撞大运的随机种子,或者分词器不匹配! 在执行成本归零的时代,「决定该做哪个实验、该相信哪个结果、该放弃哪个方向」的判断力,就是你最铁的新饭碗!

把智能体的速度,加上你自己的想法和判断力,哪怕你是刚入行的初级研究员,也能瞬间化身为「十倍效率研究员」。 第三,时代的悖论:越把活儿交给AI,你的基本功越得硬很多新人会想:「既然以后只拼判断力,那我是不是不用学底层代码了,直接学怎么指挥AI就行? 」Ali给出了一个振聋发聩的警告:这个时代的悖论——交给智能体的工作越多,你的基本功就越重要。 因为你永远无法监督自己不理解的东西! 你能一眼看出AI跑出的结果有猫腻,靠的是对整个系统骨子里的理解:损失曲线(Loss Curve)为什么长成这种形状?

多大的提升才符合物理规律? 什么样的结果「好得令人起疑」? 怎么练就这种毒辣的眼光? Ali给出了最实在的建议:亲手造轮子:至少亲手从零实现一次注意力机制(Attention),再实现一种线性变体,比如Gated DeltaNet。 搞破坏实验:从头到尾自己训练一个小模型,然后故意把它弄坏,亲眼观察崩溃时会发生什么。 带着质疑读论文:连附录也别放过,在看到作者的实验数字之前,先在脑子里对合理的结果建立预期。 有了这些硬核知识,你才能真正指挥机器,而不是它说什么,你就信什么。

第四,大模型远未研究透,遍地都是黄金考题最后,别觉得大模型已经没啥可研究的了。 一个人能训出基座模型,只是因为旧路已经被趟平了。 Ali直接列出了7个至今无人能完美解答的黄金课题,随便突破一个都够你吃一辈子:少样本高效学习:怎样用更少的数据,学到更多东西? 新架构

来源:北京智源研究院 · hub.baai.ac.cn

00