跳到正文
原文
北京智源研究院· AREX·· 18 天前精选AI 评分86

Recursive 发布 40B 模型 Flint

Recursive 发布 40B 模型 Flint,称其主要由自动化研究系统 Eureka Machine 构建

AI 摘要

AI 创业公司 Recursive 发布了 40B 模型 Flint,该模型总参数 398 亿,每个 token 激活约 25 亿,采用混合专家(MoE)编码结构,由自动化研究系统 Eureka Machine 构建

正文 · 中文整理稿

Wired 报道配图:布满齿轮的大脑剪影与处于不同生长阶段的植物拼贴插画

Recursive 官方博客的质量-速度对比图:在 48 GiB 统一内存的 M4 Pro 上,Flint 的 MLX 与 llama.cpp 部署位于六项基准均分与解码速度的帕累托前沿

美国时间 10 月 21 日,AI 创业公司 Recursive 发布了第一个模型 Flint:总参数 398 亿(39.8B)、每个 token 激活约 25 亿的混合专家(mixture-of-experts, MoE)编码模型,权重以 Apache 2.0 许可开放在 Hugging Face 上。 CEO 兼联合创始人 Richard Socher 在 X 的发布帖 里写,模型从零开始构建,用时不到 4 个月。

他向 Wired 解释了原因:开发的大部分由公司的自动化研究系统 Eureka Machine 完成,“整个模型管线的几乎每个环节,实际上都由 AI 完成并改进”。 按 Wired 的转述,Socher 称这套系统拿出了新的基座模型训练方法、新的模型架构,以及针对特定芯片优化的代码。 Recursive 自报的基准显示,Flint 在编码任务上优于同规模模型; mezha.net 同日转述的这篇 Wired 报道还记录了记者 Will Knight 在一台 48 GB 内存 Mac 上的几天试用,结论是正面的。

发布正值递归自我改进(recursive self-improvement, RSI)争论升温:今年 9 月,一名离开 Anthropic 的研究者警告包括 RSI 在内的 AI 进展可能在几年内导致人类灭绝,美国国会已有数项议案提议禁止 RSI; Recursive 则把这类担忧称为“更接近科幻”。 一个 48 GB Mac 就能跑的 40B 编码模型 Flint 在 官方模型卡 里的定位很具体:为编码代理(coding agent)设计的 MoE 语言模型,用来调查代码库、修 bug、实现功能、写测试。

它总参数 398 亿,每个 token 只激活约 25 亿(含输出头,官方尺寸标注 40B-A2.5B; 不含输入嵌入矩阵的主体约 22 亿)。 结构上共 49 层——2 个稠密层加 47 个 MoE 层,每个 MoE 层挂 256 个路由专家、每个 token 选中 6 个,另有 1 个常开的共享专家; 注意力由 35 个滑动窗口层与 14 个全注意力层组成,模型卡记录的上下文配置为 262,144 个 token。 开放程度是 Flint 的另一个重点。 BF16 权重约 80 GB;

为 Apple Silicon 准备的 GGUF 量化版 (llama.cpp 生态使用的本地权重格式)只有 26.0 GB,要求至少 48 GB 统一内存的 Mac。 公司博客 列出兼容 llama.cpp、Ollama、Unsloth、LM Studio、vLLM、SGLang 等框架,还附带发布了一个针对 M4 Pro 与 M5 Pro/Max 优化的轻量推理引擎 rec。 服务端部署方面,模型卡称单张 B300 或 H200 就能起一个副本。

官方博客称上下文最高支持 512k token,但建议留在 256k 以内。 速度是 Recursive 主打的方向。 官方数字是:M4 Pro MacBook Pro 上每秒生成超过 125 个 token,64 GB NVIDIA RTX Spark 上超过 150 个; 与得分相近的 250 亿~400 亿参数稠密模型相比快 5 倍以上,与同级模型相比最多快 2 倍。

Wired 补充了一个参照系:如今最大的模型有几万亿参数,只能跑在工业服务器机架上,而 48 GB 内存的 Mac 刚好装得下 Flint 这个规模的模型。 Eureka Machine 的产出:架构搜索、4 比特输出层与 Metal 内核 据 Wired 报道,Recursive 已按 46.5 亿美元的估值融资 6.5 亿美元,投资方包括 Google Ventures、Greycroft、Nvidia 与 AMD Ventures;

Socher 曾任 Salesforce 首席科学家,联合创始人中还有英属哥伦比亚大学教授 Jeff Clune,其研究方向是构建能无限学习的 AI 系统。 按 Socher 的说法,借助 Eureka Machine,这家只有一小撮研究员的公司在几个月内造出了世界级模型。 按公司博客的描述,Eureka Machine 自动化的是整条研究循环:提出想法、实现、跑实验、验证结果,再用结果决定下一个实验; 它并行推进多个方向,保留早期实验的上下文,并把有希望的分支组合起来。

这套系统此前已交出一份公开成绩单:今年早些时候 发布的早期结果 称,它在三项基准上超过了当时的公开最好成绩——在单 GPU 固定 5 分钟预算内训练小语言模型的 NanoChat Autoresearch,把验证损失从 0.9372 BPB(bits per byte,越低越好)降到 0.9109 BPB; NanoGPT Speedrun 把训练到 3.28 验证损失的时间从 79.7 秒缩到 77.5 秒;

GPU 内核优化基准 SOL-ExecBench 在 235 个内核上的平均 SOL 分从 0.699 提到 0.754。 这些结果连同产物已经开源,外人可以自行检验。 在 Flint 上,博客给出的系统产出分三块。 架构上,系统从 350 亿总参、30 亿激活的基线出发,搜索不同的专家配置和宽度; 最终选定的 40B 总参、25 亿激活方案,是公司所称在其测试过的配置中预计速度与编码表现组合最好的一个。

量化环节,系统反惯例地把输出层(lm_head)也压到 4 比特——模型每 token 只读约 25 亿参数,输出层在每次前向中的读取占比因此不小; 为找回精度,它加了一段离线蒸馏,让量化模型在自己预先采样、由系统自行筛出的样本集上训练,16 位模型当教师。 公司称这把训练步数比量化感知训练基线几乎减半,最终的 NVFP4(NVIDIA 的 4 比特浮点格式)版本与 16 位版本在其各基准上的差距不超过 0.7 分。

内核层面,系统为低比特投影、MoE 运算、注意力和 prompt 处理写出了针对具体硬件的专用内核,并在 M4、M5 芯片上产出一个把整个解码前向过程融合成单个 Metal megakernel 的方案。 自报基准的领先,与它的口径说明 模型卡公布的发布评测数字是:Terminal-Bench 2.1 得分 54.9%,SWE-bench Pro v2 得分 89.7%,SWE-bench Verified 得分 74.2%;

测试设定为温度 1.0、top-p 0.95、top-k 20,代理式成绩取至少 5 次尝试的平均 pass@1(单次通过率)。 公司博客据此声称,Flint 是总参数 500 亿以下 MoE 模型中代理式编码基准成绩最好的,编码表现可与 250 亿~400 亿参数的稠密模型比肩。 这张成绩单的口径需要留意。 模型卡自己标注:Flint 的分数由 Recursive 测量,对比模型的分数是各家开发者自报,各来源的评测设置并不一致;

Flint 的 Terminal-Bench 分数把通过网络检索得到的解计为失败,开发者自报的分数未必采用同样的调整。 图上“领先”的幅度,目前由 Recursive 一家测量和裁量。 图源:Recursive 官方博客。 横轴为解码速度(按 128K 输入上下文归一化的 AUC 计),纵轴为 Terminal-Bench 2.1、SWE-bench Pro v2、SWE-bench Verified、LiveCodeBench v6、IFBench、IFEval 六项基准的平均分。

Wired《AI Lab》专栏作者 Will Knight 在报道发表前的几天里试用了 Flint。 他让模型写了一个命令行待办清单、一个在网上检索 RSI 相关研究的程序,还有一个讲解 RSI 的简单网站,评价是模型又快又能干:“以我的经验,这个规模的模型跟 Claude 或 Codex 比往往慢得恼人、还容易出错,但 Flint 每次都准确完成了我的编码请求。 ”这是几天用量的上手体验,不构成系统评测。

灭绝警告、国会议案与 Recursive 的回应 Wired 在报道里梳理了这条技术线:AI 已经被广泛用来构建、测试和改进 AI,靠的是它的编码能力,人只需要给更少的输入; 再往前一步,是让 AI 自己决定改什么,然后开启下一轮开发。 这一步眼下仍然受限,但如果 AI 能覆盖模型开发的每个环节,这个循环在理论上可以无限继续。 部分专家担心的正是这个“无限”:能无限自我改进的系统可能脱离人类控制,甚至判定人类是自己达成目标的障碍。

这类担忧在 2026 年 9 月明显升温——一名研究员离开 Anthropic,警告包括 RSI 在内的 AI 进展可能在几年内导致人类灭绝,多位专家随后公开呼应; RSI 的争议已经大到美国国会出现了数项提议禁止它的议案。 Recursive 不接受这套担忧。 公司的立场是:这些恐惧更接近科幻而非现实,立法阻止 RSI 是给进步设置不必要的障碍。 Socher 对 Wired 说,Flint 是用一个“不可能脱离人类控制”的系统构建的;

公司的目标是让 Eureka Machine 本身实现完全的递归自我改进,但全程有人监督,出问题随时可以叫停。 “我们希望这能让人们看到,要构建这样一个系统,我们确实已经把所有步骤都准备就绪了。 ” 他对这套方法的价值判断也很直接:“这是这支很小的团队唯一能造出同类中真正更强模型的办法。 ”他接着说,这“有望让人们看到,递归自我改进其实相当不错,会让很多人受益”。

来源:北京智源研究院 · hub.baai.ac.cn

00