SwarmEvolve进化搜索加速框架突破

作为 harness 工程的下一步，基于大语言模型（LLM）的进化搜索能够通过反复生成、评估和筛选候选数学和计算机程序，对优选方案进行修改与组合，逐轮提升程序表现。 然而，为维持搜索多样性，多个 agent 需要反复探索不同方案，每次都会先生成冗长的文本推理，再输出程序，消耗大量时间。 为此，布朗大学团队提出了一个超快、低成本的「进化搜索加速」框架 SwarmEvolve。

该框架将推理转入潜（latent）空间，每轮运行一个由 450 个 agent 组成的 agent 蜂群（swarm），通过 KV 缓存交换思路，最后由汇总 agent 生成程序。 结果显示，在 21 个数学与科学计算问题上，SwarmEvolve 达到其他 SOTA 框架 1 小时成绩所需时间的中位数仅需 3-8 分钟，使用 Qwen3 8B 时还改进了 AlphaEvolve 在 3 个问题上找到的构造。 他们表示，在潜空间中进行通信的 agent 蜂群，为科学问题的程序搜索提供了一种快速、低成本的方法。

SwarmEvolve 是一种利用多 agent 协作开展进化搜索的框架。 其中，潜空间 agent 从不同角度研究问题与父代程序，汇总 agent 再读取它们的 KV 缓存，将不同思路组合成新程序。 SwarmEvolve 将这一机制用于大规模进化搜索。 在 SwarmEvolve 框架下，每轮搜索运行 450 个潜空间 agent，这些 agent 组成不同群体，各自关注不同方向，比如「实现文献中的某种构造」或「采用教科书中的方法」。 它们具有不同的专长、父代程序与思考方式，各自执行 40 步潜空间推理。

随后，每个群体的汇总 agent 读取被保留成员的 KV 缓存，生成一份新程序。 汇总 agent 能够融合成员从不同父代程序中获得的思路，使交叉组合直接发生在潜空间中。 在数学发现和科学计算领域的 21 个问题上，他们将 SwarmEvolve 与 OpenEvolve、ShinkaEvolve 和 CodeEvolve 进行了比较。 在三种模型配置下，SwarmEvolve 均取得最高的平均得分。

它每小时评估的程序数量达到其他 SOTA 框架的 5 至 13 倍，达到各框架运行 1 小时所得成绩所需时间的中位数为 3 至 8 分钟。 同时，平均得分超过了使用 Qwen3 32B-FP8 的 3 个基线框架。 他们还考察了潜空间推理本身的作用。 将潜空间推理替换为文本推理后，Qwen3 8B 的得分下降，即使分配给文本推理的 token 预算高于潜空间推理预算，也同样如此。 他们将其解释为搜索时间的分配问题。 文本越长，每轮执行越慢，同一时间内能够评估的程序越少，最终得分也随之降低。

增加 agent 数量带来的收益，则主要体现在搜索早期。 更大的群体能够从更多角度研究父代程序，使最初几轮覆盖更多设计空间。 他们指出，当单次评估需要运行昂贵的科学或工程仿真、只能测试少量程序时，这种早期优势尤其重要。 到了搜索后期，不同规模的群体会达到相近得分。 相比之下，换用规模更大、能力更强的 LLM，仍能持续提高最终得分。 他们认为，搜索新的数学构造、算法与科学计算方法，并不一定需要前沿模型或庞大的计算预算。

对于具备明确评估标准的问题，低成本潜空间 agent 群可以在单张 GPU 上开展大规模程序搜索，将更多计算时间用于探索和检验候选方案。 SwarmEvolve 仍有 一些 局限。 首先，所有潜空间 agent 与汇总 agent 必须使用同一个 LLM，因为这限制了不同模型之间的协作。 其次，当前实现依赖标准注意力机制。 要在这些模型上实现类似通信，还需要解决多个 agent 状态的合并问题。

最后，KV 缓存的内存需求随 agent 数量、潜空间推理步数和模型层数线性增长，因此他们测试的最大模型仍需要大显存 GPU。 他们提出，学习不同模型之间的 KV 缓存转换、压缩潜空间消息，以及将每轮计算分散到多张 GPU，可能有助缓解这些限制。