跳到正文
原文
北京智源研究院· AREX·· 7 小时前精选AI 评分70

百度文心发布自动研究系统 ERNIE Evolve

百度文心发布自动研究系统 ERNIE Evolve,称两项公开基准超过公开验证最好结果

AI 摘要

百度文心团队发布的自动研究系统 ERNIE Evolve 在 NanoChat AutoResearch 和 NanoGPT Speedrun 两项公开 AI 研发任务上超过公开验证最好结果

正文 · 中文整理稿

11 月 9 日,百度文心团队发布自动研究系统 ERNIE Evolve,称其在 NanoChat AutoResearch 和 NanoGPT Speedrun 两项公开 AI 研发任务上超过公开验证最好结果:NanoChat AutoResearch 验证集 BPB 降至 0.8763,低于社区公开最佳 0.8878; NanoGPT Speedrun Track 1 用 38.9 秒训到目标损失(公开最佳 39.9 秒),Track 3 用 2,590 步达标(公开最佳 2,690 步)。

在 SOL-ExecBench 上,系统取得平均 SOL 分数 0.819,距榜首 0.827 还差 0.008。 ERNIE Evolve 已接入 ERNIE-5.5-Flash 做推理效率优化,昆仑芯 P800 低时延场景生成速度提升至基线的 623.6%,GPU 确定性推理吞吐提升 33.7%,极致解码速度提升 14.9%。 基准成绩与运行日志开源。 ERNIE Evolve 通过双层循环组织实验:外层根据历史实验和知识资料提出研究方向,内层连续迭代修改代码并验证。

系统内部分工明确:Director 选定起点,Selector 决定验证假设,Executor 按计划修改代码,Evaluator 和 Reviewer 分别评测性能和检查改动。 公开基准检验显示,ERNIE Evolve 在三项任务上取得显著改进。 NanoChat AutoResearch 通过预测分支和稀疏优化器优化模型结构、优化器、学习率策略和执行效率。 NanoGPT Speedrun 通过通信重叠、反向传播和输出层梯度计算等优化提升训练速度。

SOL-ExecBench 平均 SOL 分数为 0.819,高于 Recursive 和 Hyra-1.0,但未超过榜首 0.827。 真实研发任务中,ERNIE Evolve 在昆仑芯 P800 低时延场景推理速度提升至基线的 623.6%,GPU 确定性推理吞吐提升 33.7%,极致解码速度提升 14.9%,通过四轮优化实现显著改进。

确定性推理吞吐的优化过程:QPS 相对基线从 100% 提升到 133.7%,主要改动包括 Gumbel 采样、融合 top-k/top-p 与 mHC 切分调整

昆仑芯 P800 低时延场景的优化过程:相对基线的吞吐在约 168 小时内从 100% 提升到 623.6%,关键改动包括投机解码、原生算子接入和低时延专家分派

ERNIE Evolve 架构图:左上为知识库与经验库,外层 Director 设定研究方向,内层 Selector、Executor、Evaluator、Reviewer 组成演进循环,下方多条研究线并行维护各自的候选树

来源:北京智源研究院 · hub.baai.ac.cn

00