Hugging Face 复现 ICML 2026 的 2200 篇论文，发现了什么

回到七月，我们举办了一场黑客松，超过 1,200 名社区成员带着自己的编程智能体，尝试逐条复现 ICML 2026 上发表的论文。在 19 天里，参与者发布了 6,816 份 Trackio 日志簿，复现了 2,226 篇论文，约占整个会议的三分之一 🤯

在这篇文章中，我们将分享从举办这次黑客松中学到的经验，以及它对当智能体承担研究实验时人类将扮演的角色的启示。

论文多到无人能全部审阅

关于 AI 研究究竟有多可复现的疑问，比当前这波 AI 浪潮还要早。但这些问题因规模而被放大。ICML 2026 收到了 23,918 份投稿，录用了 6,352 篇论文，大约是前一年的两倍，延续着一种指数级趋势，而这至少部分是由 AI 智能体让运行实验和撰写论文变得更快所推动的。

审稿能力并没有随之翻倍。大多数会议的审稿人都是志愿者，他们可能没有时间或专业知识来完整审阅一篇论文。以下是一位审稿人用自己的话对一篇被录用的 ICML 2026 spotlight 论文的评审：

“我给出较低置信度分数，是因为我没有仔细检查所有证明。”

请注意，这篇论文获得了高分并入选 spotlight。记住这一点，因为我们会在本文后面再次回到这篇论文，以及当我们最终仔细检查那些证明时发生了什么。

不过，已经改变的是，推动投稿洪流的同一技术也能帮助我们跟上它。像 Claude Code、Codex、Cursor 和 Pi 这样的编程智能体，如今可以阅读论文、编写代码、启动实验，并汇报它们的发现。仔细检查一篇论文过去要花审稿人一个周末；而智能体可以在一个下午尝试完成，并行进行，重复数千次。

所以我们想问的问题是：如果我们真的在规模上重新审视一个大型会议，并尝试复现每一篇论文，我们会发现什么？

黑客松（7 月 15 日 - 8 月 2 日）

我们没有自己去审查论文，而是向整个社区开放，带来了智能体框架、算力预算和科学品味上的多样性。从 2026 年 7 月 15 日到 8 月 2 日，ICML 2026 开放复现挑战是这样运作的：

挑选一篇论文。我们为所有 6,341 篇被录用的 ICML 2026 论文建立了索引，附上摘要，并提取了每篇论文的核心科学主张，这样智能体就可以从一个具体、可检验的目标出发，而不是一份 40 页的 PDF。我们鼓励多人复现同一篇论文。
带上你自己的智能体。参与者使用了 Claude Code、Codex、Cursor、OpenResearch 的 orx，以及介于其间的各种工具。我们提供了一个精简的接口，让智能体可以用一条命令拉取论文、其主张以及挑战说明。
复现，然后发布一切。每次运行都会生成一份 Trackio 日志簿：一个静态的 Hugging Face Space，包含撰写报告、运行的代码、产生的产物，以及（可选）作为 Hugging Face Dataset 上传的完整智能体执行轨迹。审查过程本身也必须是可审查的。
接受评判。一个自动化的 Logbook Judge（运行开放权重模型 GLM-5.2）重新阅读了每一本 logbook，并对每条 claim 给出裁决：verified、falsified、toy（缩小规模的证据）或 inconclusive。该 judge 被明确指示将每本 logbook 的自我评估视为不可信。

参与者获得了 20 美元的 Hugging Face 计算额度，用于在 HF Jobs 上运行实验；在整个挑战期间，参与者共启动了 2,962 个云任务。在无法完整复现的情况下，例如论文的数据集是专有的或其检查点未公开时，参与者在模拟原始属性的合成数据上进行了 toy 复现。

一个完成的复现长这样：

从数字上看，这次黑客松可能是规模最大的一次科学会议复现尝试：

1,221 名社区成员加入了 organization
6,816 本复现 logbook 已发布
尝试了 2,226 篇论文，占整个会议的 34%，其中许多由多个独立团队完成
共评判 35,908 条 claim，所有裁决在挑战结束时冻结在公开数据集中
启动了 2,962 个 HF Jobs；在 Hugging Face 上发布了 274 个完整 agent-trace 数据集

我们的发现

按论文汇总 claim 级别的裁决：

51% 的受检论文（1,103 篇）至少有一条 claim 被独立验证。其中，266 篇论文被完全复现，所有提取出的 claim 均被验证；另有 632 篇被部分复现，且没有任何 claim 被证伪。总计有 3,978 条独立 claim 通过真实实验得到确认。

23% 的受检论文（496 篇）至少有一条 claim 被证伪或受到质疑。这包括 49 篇所有 claim 均被证伪且无法验证任何 claim 的论文，以及——也许最有趣的是——242 篇独立复现团队对相同 claim 得出相反裁决的论文。可复现性不是二元的；它是对抗性的。

其余论文处于中间状态：502 篇仅有 toy 规模的证据，280 篇无法以任何方式得出结论（缺失工件是最常见的原因）。

做得好的复现

有些论文经受住了考验，表现优异，社区中最好的 logbook 本身就值得一读：

“Flat Minima and Generalization: Insights from Stochastic Convex Optimization” 由 20 个独立团队复现，其中 12 个团队验证了每一条 claim。所链接的那个团队包含并发布了完整的 agent trace。
“A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness” 的 17 本 logbook 中有 14 本验证了每一条 claim。一篇关于不可靠 LLM judge 的论文在 LLM agent 的审查下站住了脚 :)

证伪，以及我们核查时发生了什么

35 名参与者正式声称他们证伪了某些内容。我们对每一项声称的证伪进行了对抗性复核：重新阅读论文、重新阅读 logbook，并根据论文自身的文本重新推导数学或重新实现实验。

以下是一些得到确认的证伪，并链接到发现它的 logbook：

引言中提到的分页论文。 那位没有仔细检查证明的审稿人？论文《Towards Optimal Robustness in Learning-Augmented Paging》声称其算法实现了鲁棒性 Hk+O(1)H_k + O(1)。一位参与者的日志测得加性项以约 0.38ln⁡k0.38 \ln k 的速度增长，并定位到了证明中出错的确切步骤。我们自己的重新实现将扫描范围扩展到 k = 1,024，并以约九个标准差的置信度确认了这一增长。真正的鲁棒性是 Hk+Θ(log⁡k)H_k + \Theta(\log k)。

一个在第 224 步之后崩塌的定理。 《Attention's forward pass and Frank-Wolfe》证明了只要原点位于 token 粒子的凸包内，这些粒子就会坍缩到原点。三个独立团队找到了反例，违规现象分别首次出现在 t = 224、约 3,800 和 6,416 步，这恰好解释了为什么其他人都“验证”了这一论断：有限时域的检查停止得太早。最干净的反例以精确有理数算术表述，因此没有浮点歧义可以藏身。作者当天就予以确认，并正在着手修复。

理论为一个损失而写，结果却由另一个损失产生。 在《Self-Distillation Enables Continual Learning》中，论文的核心方程及其整个理论部分分析的是反向 KL 散度，但发布的代码默认计算的是前向 KL——据作者称，正是这一默认设置产生了论文的所有结果。发现这一问题的日志也未能在作者自己的代码和数据下复现论文头条的 +4pp 结果。作者已经向 arXiv 上传了澄清版本。

被填充稀释的评估。 在《Do Transformers Need Three Projections?》中，一位参与者发现约 66% 的被评估标签位置是 EOS 填充 token，这些 token 训练后损失接近零，使困惑度被稀释了约三倍。摘要中的“以 50% 缓存缩减换取 3.1% 质量损失”在修正后变为约 9.4%。

🚨 虚假的证伪。 有时我们会在复现尝试中发现缺陷。一份日志夸张地声称“论文的方法比基线慢 2 倍”；结果这原来是复现中的一个算术错误：将每条轨迹的时间与每批 50 条的时间进行了比较。正确归一化后，参与者自己的数据证实了论文所声称的 8 倍加速。

与作者交流

我们已经开始就每一项已确认的发现致信作者，采用一个简单的框架：这是我们发现的内容，这是全部证据，你们是否同意，还是我们的分析有误？早期的回复非常积极：

到目前为止，作者们已确认了多篇论文中的发现，两项 arXiv 更正正在进行中，还有一个案例中，一位作者在挑战赛发现该错误的一个月前，就已悄悄在新 arXiv 版本中修复了它，我们将其视为独立收敛 🤗

人类的角色

这次黑客松提出的最有趣的问题是：人类在论文评审中是否仍有角色？我们认为有，原因有以下几点：

纯智能体执行会触及真正的极限。智能体会陷入局部循环，误读依赖规模的行为（分页论文中若干“已验证”的结论来自在 log-k 增长变得可见之前就停止的检查），偶尔还会在单位不匹配的基础上构建出整个证伪。该挑战中最可靠的结果来自有人类引导的工作流：重新指引智能体、质疑某个假设，或在为一个实验的前提烧掉一周算力之前就判定它是错的。

目前，某些评估本质上仍离不开人类。我们的人在回路获胜者就是最清楚的例子。论文声称在极端量化下能稳定生成图像。数值指标说“没有崩溃”；图像是否真的可用则是一个感知问题。智能体构建了一个专门定制的评审 UI，人类亲自评判了全部 128 对图像，标注被提交到仓库，随后智能体验证了它们的一致性。发布的智能体轨迹记录了整个交流过程，甚至包括参与者询问评审工具如何工作，以及回来时说“我已经看过这些图像对，并把 csv 放进仓库了，请检查。”

那么，作为人类评审者，我们的角色是什么？我们认为是要有效地管理智能。就像教授或首席研究员（PI）营造一个让研究生能够做好工作的环境，在合适的时机提供算力、工具、数据访问和有针对性的反馈一样，那些从智能体身上获得最大收益的参与者，正是那些构建了合适环境并提出了正确问题，然后让智能体去运行的人。

谢谢

致加入的 1,221 人、获胜者、以优雅态度回应的作者，以及我们在 Hugging Face 和 alphaXiv 的组织者：谢谢你们。该挑战的每一份日志、裁决、轨迹和产物都是公开的，从挑战 Space 开始。我们认为这是迄今为止对机器学习会议规模最大的公开、逐条主张审计，我们很希望这个纪录不会保持太久。

敬请期待未来的复现活动。🤗