阶跃星辰 Step 5 Preview 正式开源,放出 BF16 与 FP8 两版权重及技术报告
Step 5 Preview 开源,OpenRouter 周榜第二,模型训练技术细节揭秘!
阶跃星辰于 9 月 20 日上线的 Step 5 Preview 今日正式开源,放出 BF16 与 FP8 两版权重并发布技术报告。
9 月 20 日上线的 Step 5 Preview 今日正式开源,放出 BF16 与 FP8 两版权重,同时发布了技术报告。 开源之前,这个模型已经在海外开发者社区跑出了还不错的的数据。 10 月 8 日上架 OpenRouter 后,Step 5 Preview 的周调用量达到 18.8T token,周榜、日榜都排在全球第二,10 月 14 日单日调用 3.74T token。
有意思的是,在 OpenRouter 上,Step 5 Preview 调用量 Top5 的工具分别是 Hermes Agent、Kilo Code、OpenClaw、Cline 这些 Agent 工具,以及阶跃自己的 Step Code。 这背后有阶跃的主动布局:近期,Step 5 Preview 在多款 Agent 工具上推出了限时免费活动。 某种程度上,这也折射出大模型使用方式的变化:用户开始在 Agent 环境里尝试长程任务,而不是单纯在 chatbot 里的 api 调用。
更关键的是,能力到了、成本下来了,才会舍得在 Agent 里「狠命」用。 正如 Step 5 Preview 发布的时候宣称的,追求智能效率的新一代「帕累托前沿」,Step 5 Preview 押注的方向,正是把这种用法上的变化带到交付结果的长任务上。 ⬆️ 关注 Founder Park,最及时最干货的创业分享 Founder Park 正在 持续寻找值得被看见的 AI 团队与项目。 我们将通过「AI 产品市集」、内容报道、社群分发等方式,帮你触达早期用户、获得真实反馈,以及建立关键连接。
如果你正在做 AI 相关的事,欢迎和我们聊聊。 01 模型可以「放开用」, 用法就完全不一样了 过去一年,大模型使用方式经历了一次质变,DeepSeek V4 Flash 把 token 成本打到了一个临界点,调用从「每次想想值不值」变成「随便跑」,开发者的行为也变了。 最明显的变化是:Agent 的使用从「试着跑一次看看」,变成了循环式地跑。 Google 知名工程师 Addy Osmani 在今年六月给这种模式起了个名字,Loop Engineering。
你的工作不再是写 prompt,而是设计一个替你写 prompt 的循环。 Agent 自己发现任务、分配子 Agent、验证结果、记住进度,第二天接着跑。 Anthropic 负责 Claude Code 的 Boris Cherny 做法更直接:「我不再 prompt Claude 了,我有循环在替我 prompt Claude。 」 试错足够有性价比之后,很多任务会从抽样走向全量。 代码 Agent 可以遍历整个项目,逐个检查文件; 研究 Agent 可以扩大检索范围,交叉验证更多来源;
一个方案失败后,模型还可以生成多个候选,再逐一测试。 Step 5 Preview 发布时展示过一个案例:模型获得 24 小时,在一张 NVIDIA H100 上从零优化一段 MLA GPU 内核。 它自己编写代码、编译、测量性能,遇到退步就回到此前最好的版本,再尝试新的优化路径。 经过 180 多轮迭代,最好一次达到约 508 TFLOPS。 Step 5 Preview 是阶跃在这一层下的注。 过去几代 Step 模型更偏向 Flash 路线。
Step 3.5 Flash 和 Step 3.7 Flash 都只有约 11B 激活参数,主要强调推理速度、工具调用和高频使用。 到了 Step 5 Preview,模型规模扩大到 600B 总参数、27B 激活参数,并支持百万 Token 上下文。 目标很明确:把过去 Flash 模型带来的低成本调用,扩展到更复杂、更长时间的任务。 官方的说法是,下一阶段的 Scaling 不只是更多 Compute,也包括更高效率的 Compute。
02 更长上下文、自动压缩, 让长任务跑得更安心 伴随本次开源发布的技术博客《Inside Step 5 Preview: Architecture and Training for Agentic Work》,分享了阶跃星辰在 Step 5 Preview 训练上的一些心得。 Agent 工作负载的三个核心难点:任务链路长、长上下文算不起、强化学习在长轨迹上难训。 报告里几个设计选择都想解决这个问题:怎么让模型在长程 Agent 任务上更可靠,同时不让成本失控。
Step 5 Preview 堆了 92 层 transformer block,深度和 Kimi K3 这种万亿参数模型差不多,但总参数只有后者的不到四分之一,明显是想做深做窄。 为什么 Agent 任务需要深度? Agent 干活时大量时间花在处理工具返回的上下文,没什么机会一步步写出推理过程,因此模型在 Prefill 阶段的隐式推理能力变得更加重要。 更深的网络为多跳信息传递提供了更长的计算路径,而相对较窄的设计则有助于控制计算成本。
注意力机制上,模型引入了 Sparse GQA,并通过 Block-wise Token Merging 优化稀释索引,把索引与 Top-K 筛选环节的计算开销压到原来的八分之一,信息覆盖率几乎没损失。 定价,缓存读取只要原价十分之一,Agent 循环里大量重复的系统 prompt 和工具定义天然命中率就高,OpenCode 此前的数据显示,Step 5 Preview 输入 token 里有 96% 命中了缓存。 上下文窗口从上一代的 256K 拉到了 1M,但很多真实任务本身就比窗口还长。
报告给出的思路是不让任务长度被窗口卡住:上下文快用满时,Agent 不是被动被截断,而是自己把手头的工作状态整理成一份可以接续的摘要,然后继续往下做。 这个能力是放进强化学习里和任务奖励一起端到端训出来的,不是外面套的规则。 博客还引用 Rich Sutton 的《The Bitter Lesson》来解释, 让模型自己学会管理上下文,而不是靠人写规则去裁剪 。
所以 Step 5 Preview 能处理的任务长度理论上不会被 1M 的窗口卡死,训练目标就是让 Agent 在有限的工作记忆里持续把任务往前推 强化学习训长轨迹本身也有不少坑要填。 模型想走捷径作弊的时候,系统会当场拦住这一步并且扣分,提示它换条路继续,而不是直接判整条轨迹失败。 团队还发现,最长最难的训练样本容易在流程中途悄悄丢掉,模型会因此越来越偏向简单任务,于是给每条样本记账,把丢失率压到了 1% 以下。
训练用的任务按「要跑多久、要改多深」来挑选,阶跃为此构造了百万级可验证的任务环境,覆盖软件工程、科学推理、机器学习研发和专业知识工作。 模型之外,harness 同样很重要。 9 月 23 日,阶跃开源了 Step 5 Preview 的官方 Agent 工具 Step Code。 根据阶跃 Harness 团队的说法,Step 3.5 Flash 时期团队就想着「除了提升模型自身能力,能不能靠加强 harness,让模型在实际任务中表现得更好?
」尤其对于需要大量工具调用和持续执行的长程 Agent 任务,Harness 的设计直接影响任务完成率和 Token 消耗。 基于这样的思路,Step Code 将 Token 效率作为核心优化方向,主打 Same smarts,fewer tokens。 把长任务拆给多个上下文相互独立的子 Agent 并行执行,冗余内容不进入主对话; /goal 可以把一个目标交出去,让 Agent 持续推进。
阶跃自测的结果,同一个 Step 5 Preview 模型搭配六家 harness,Step Code 的长程任务完成率为 73.3%,每个任务平均消耗 5.09M token,两项都排第一。 当然,也不是没有缺点,目前开发者的吐槽中,主要是模型在执行任务时的输出依然偏多,单步回复的精简度还有提升空间。 但模型都开源了,单任务成本还只有 Claude Opus 5 的 1/8,也很香了。 03 模型触达用户最短的路径, 在 Agent 里 模型能力和成本只是一半。
阶跃围绕 Step 5 Preview 这半个月的动作,还想去降低另外一个成本,用户试用一个新模型的摩擦成本。 今天的开发者,以及越来越多的办公用户,默认在 Agent 工具里干活, 模型触达用户最短的路径,是出现在 Agent 工具的模型列表里。 OpenRouter 的应用榜上,调用量最大的已经是开源 Agent 框架 Hermes Agent,单日 2T token,排在 Claude Code 前面。 在这类工具里换一个模型,可能只需要 /model 切换下。
Step 5 Preview 在推特上也是这么宣传的:「Keep your workflow. Switch your model.」(工作流不用动,换个模型就行。 )上架 OpenRouter 前后几天,它陆续接入到 Cline、Kilo Code、Nous Research 的 Hermes 和 OpenCode 里,并在这些工具里限免一周。 而在国内,9 月 22 日上线字节的 Coding 产品 TREA。
在 10 月 12 日到 25 日,在腾讯的 WorkBuddy 上独家限免,用户做深度研究、数据分析、文档和 PPT 时,可以直接把多步骤任务交给它持续执行。 阶跃自己的 Step Code,在 OpenRouter 上 Step 5 Preview 的主要来源里,也排进了 Top 5。 今天 Step 5 Preview 开源之后,模型的使用方式也变得更加开放。 开发者也可以自行部署了,让各类工具、托管方都可以接入 Step 5 Preview,企业也能把它部署在自己的机器上,接进自己的数据和系统。
Agent 工具已经成为模型触达开发者最短的路径,在最接近用户工作场景的工具里,让用户开箱即用,已经是今天每一个模型都要做的工作了。 模型层面压低了长任务的成本,在产品层面压低了开发者换一个模型的摩擦成本。 从模型到 Agent 工具到办公场景。 从 Step 3.5 Flash、Step 3.7 Flash 到 Step 5 Preview,阶跃一直在围绕 Agent 任务推进基座迭代,关注的是能力、计算效率和实际应用之间的最优解,追求智能的效率上限。 更多阅读 ChatGPT推智能界面了,交互未来长啥样?
人人都想当你的 Personal Agent,却没人知道它应该长什么样 对话出海一叮易宛尧:品牌出海的每一个环节,都值得用 AI 重做一遍 a16z AI 应用 Top 100:只有 4.5% 的用户愿意付费订阅,AI 产品该换种方式收钱了 对话UNICUS徐豪:一家无限SKU的玩具平台,训练了第一个能「生产」的3D模型 转载原创文章请添加微信:founderparker
来源:北京智源研究院 · hub.baai.ac.cn