AI 显著加速 AI 研究

本文讨论了公开的 METR 关于Anthropic AI研发加速的报告。我没有参与这个项目，也没有看到未删改的报告。1 所有观点都是我个人的，不代表 METR 或报告作者。

感谢 Ryan Greenblatt 的讨论、反馈和在建模方面的帮助，以及 Daniel Kokotajlo、Eli Lifland 和 Hjalmar Wjik 的评论。

本周早些时候， Anthropic 在他们的 S1 中表示，他们“可能即将达到”他们在负责任的扩展政策中定义的“由于AI导致显著加速进步”的阈值。在 他们最新的 RSP（有效日期为 2026 年 7 月） 中，说这个阈值将在以下情况下达到：

1. 他们观察到或预期整体能力进步的速度将是 AI 在对 AI 研发贡献很大之前的最快持续速度的两倍。2

2. 这很可能归因于 AI 自动化 AI 研发，而不是计算或其他输入的加速。3

过去几个月里，MЕТR 的部分同事一直在进行深度访问调查，以了解 Anthropic 是如何被其 AI 系统加速的。 根据我对 他们的报告 和 Anthropic 的 RSP 的阅读，看起来“显著加速”的阈值已经达到了。4

报告作者发现：</

1. 在 2025 年 10 月到 2026 年 10 月之间，Anthropic 的能力进步速度大约是过去十二个月的 twice as fast。他们报告的测量值是 Epoch Capabilities Index 的内部版本 AECI；大量支持加速的其他证据已被删改。他们说，这些删改的证据是“他们发现的最具信息量的证据中的大多数。”

2. 虽然速度可能最初因为各种原因开始加快，但 AI 自动化很可能是能力目前以这种更快的速度继续改进的大部分原因。他们相信这一点的原因已被删改。

这比乍一听起来要重大得多。我认为这份报告是我们过去几年得到的关于 AI 风险的最重要更新——比 Hugging Face 攻击 更重要。天真地说，它指向的时间线比大多数外部研究人员（包括 AI 2027 团队）预测的要短得多。

重要的是， 如果 AI 大致上使能力进步速度翻倍，那么它必须比那更快地加速人类研究人员的速度。

研究人员致力于改进算法和架构；Anthropic 有时将这些创新称为“计算倍增器。”5 整体 AI 能力（“有效计算”）是计算倍增器和训练计算量的乘积。由于计算倍增器只是能力的一个输入，这意味着如果由于软件进步，AI 能力整体上提高了两倍，那么计算倍增器的增长率就需要 更高于两倍：根据合理的假设，可能需要 ~2.5-3 倍的速度。6 由于速度提升的大小和其中有多少来自 AI 的不确定性，我将选择 ~2-3 倍。

类似地，研究人员的 劳动只是发现这些计算倍增器的一个输入：他们需要测试自己的想法，这需要计算资源进行实验。如果我们假设一个非常简单的柯布-道格拉斯模型，其中实验计算量和劳动同样重要，这意味着对劳动的提升大致需要是计算倍增器加速的 平方。7 这将意味着我们需要在劳动方面获得 (~2-3x)^2 = ~4-9x 的速度提升，以使整体 AI 能力提高两倍。8

然而，一旦能力 开始显著加速，这也意味着低垂的果实以相应更快的速度被采摘。每个新的计算倍增器发现和实施所需的工作越来越多（即，“想法越来越难找到”）。在 AI 之前没有太多加速之前，劳动力的增长大致以某种大致固定的指数率增长，通过雇佣更多人类。结合计算量的增长，这足以弥补递减的回报，以维持能力进展的基线速率。但要维持一个新的更快的能力进展速率而不加快计算量的扩展，我们需要一个更快的整体劳动力增长速率。

由于人类劳动力增长速度似乎停滞在原有水平，AI带来的提升效果需要随着时间的推移变得越来越显著，才能维持其新的增长速度。这意味着，如今，在经历了数月AI加速发展之后，9AI带来的提升效果需要比~4-9x（这是最初估计的，需要达到这个提升效果才能使发展速度翻倍）还要高：也许必要的劳动力提升效果是~10x。这非常不确定，可能高得多也可能低得多。但它与Anthropic员工的非正式自我报告惊人地吻合，他们表示现在使用内部模型获得了~12x的提升效果。

当你想象效率提升10倍时，你就不应该认为每个研究员现在都变成了一个由十名研究员组成的团队——任何一个做过任何事的人都知道，一个由十人组成的团队每小时完成的有价值的工作量并不会比一个人多十倍。相反，这就像Anthropic的每位研究员都处于一个时间扭曲的气泡中，他们体验到的每一天都是外界流逝的十倍。就好像人工智能让他们思考、阅读、说话、打字，以及做其他所有事情的速度都提高了十倍。10Anthropic很可能无法通过雇佣任何数量的人来加速其研究这么多。11

一个合理的默认预期是，随着人工智能能力的不断提高，人工智能研究员将越来越多地从自动化中受益：如果今天他们需要一个月才能完成以前一年才能完成的工作量，那么很快他们只需要一周，然后可能只需要一天。如果这种不断增长的劳动力提升足以克服边际效益递减，那么在没有其他瓶颈的情况下，它将转化为人工智能进步速度的更大加速：进步将开始以4倍的速度进行，然后是8倍，然后是16倍，等等。

报告作者对这个问题非常不确定，并表示他们的看法随着新信息的出现而多次改变。但最终，他们没有发现任何瓶颈或边际效益递减的证据，这些证据会阻碍加速的复合效应12 他们还报告说看到了一些（令人困惑的）已编辑的证据，表明加速可能已经超过2倍，并且随着时间的推移而增加。

如果我们接受人工智能现在几乎使人工智能能力的进步速度翻倍，并假设人工智能的加速是平滑的，那么这天真地意味着我们将在一年内达到极端超级智能。 似乎大约一年的人工智能进步让我们从适度的加速阶段发展到人工智能现在使人工智能进步的速度大约翻倍。如果人工智能的加速是平滑增加的，那么在这个新速度下，我们应该预期在六个月内再次翻倍进步速度。在那时，再过三个月就能再次翻倍，然后是六周。13

理论上，这些翻倍时间将导致一年内实现无限能力。现实中，在某个时刻我们将会达到软件效率的有效上限。但我预计这些限制将非常远于我们目前所处的位置。

如果我们经历这个反馈循环，我预计最终出来的人工智能系统将能够非常快速地开发新型武器，并且很容易在冲突中压倒人类文明。如果这些系统严重失调，我认为它们可能会使人类丧失权力，这可能导致人类灭绝。

“由于AI带来的显著加速进展”是一个极其重要且关键的里程碑，因为它是一个强有力的具体指标，表明在极短的时间内就具备了极强的能力。实际上，在Anthropic RSP的早期版本（2025年5月）中，AI研究自动化（AI R&D-5）的最高命名风险阈值对应的是一个相对较弱的里程碑。14 根据旧版RSP，Anthropic在达到AI R&D-5时，至少需要具备足以“防范国家级对手窃取模型权重”的安全保障15。

我同意，对于明年在不造成大规模杀戮风险的情况下经历智能爆炸，非常强大的安全措施，无论是针对模型权重还是算法机密本身，都是最低限度的前提条件。AI行业远未达到这一标准：OpenAI和Anthropic最近都遭受了业余团体的重大安全漏洞。除了强大的模型权重安全，我认为我们还需要具有普遍覆盖的健壮日志记录和监控，可靠的测量的可监控性，有效的监控共谋对抗措施，基于原则的校准训练技术，以及非常令人信服的模型生物或可解释性来理解它们的工作效果，如果我们发现这些校准和控制干预开始失效，则需要为控制进展节奏建立治理基础设施……如果我们打算以负责任的方式接近智能爆炸，还需要许多其他措施。

不幸的是，大部分用于得出这些结论的重要证据已被从这份报告中删除。分析选择不可避免地会充满挑战，报告作者表示，证据常常令人困惑。

我相信我的同事们在理解和解读所见内容方面做了仔细而严谨的工作，我基于这份报告进行了重大更新。但我希望更多基础证据是透明的，以便读者不必依赖信任。我们可能已经没有足够的时间来就时间表和加速起飞速度达成共识，而当外部科学家无法检查数据并测试他们自己的模型时，这一点就更加困难了。

1

因为我可能看到了其他可能与时间表和加速起飞速度相关的机密信息，我将只讨论公共证据的影响，而不是分享精确的最终预测。

2

确切的条件是：“我们观察到或预期，人工智能综合能力的进步速度是，与我们所预期的速度相比，以及与我们观察到的在没有重大人工智能贡献于人工智能研发的情况下最快扩展进步速度相比，都是两倍。我的理解是，之所以要有这两个条件（与反事实相比的进步速度加倍，以及在没有太多人工智能协助的情况下与最快持续速度相比），是为了排除那些在没有人工智能自动化的情况下能力发展速度会大大减缓，但我们通过人工智能的巨大提升保持了旧趋势的案例。

3

确切的条件是：“这种加倍的可能性很大是归因于研究和/或工程的自动化（而不是其他因素，例如增加人员、计算能力或一般生产力），以至于人工智能进步的趋势的持续似乎可能导致更大的加速。”

4

阈值的定义有点棘手，部分原因是必须满足两个加速条件（相对于反事实的加速和相对于过去的加速）。但根据字面意思，我最好的猜测是它已经达到了。

撰写 METR 报告的作者估计，相对于 过去 的进步速度大约翻了一番，但他们只将目前的加速速度归因于人工智能，这意味着截至他们撰写报告的 2026 年 10 月，相对于没有人工智能的观察到的加速速度的中心估计约为 ~1.8x。

但他们还发现，人工智能的贡献随着时间的推移而增加，我猜测现在（截至 2026 年 11 月）它已经显著更高。即使进步速度此时并不是完全相对于反事实加倍，阈值也包含了合理的预期（“我们观察到或预期进步速度加倍…”）。

5

Anthropic CEO Dario Amodei 在 这篇论文中解释了计算倍数的概念：“该领域不断出现各种大小的新想法，这些想法使事物更有效或更高效：它可能是模型架构的改进（所有当今模型都使用的 Transformer 基本架构的微调），或者仅仅是更有效地在底层硬件上运行模型的方法。新一代硬件也有同样的效果。这通常会使曲线移动：如果创新是一个 2x “计算倍数”（CM），那么它允许你在 5M 美元而不是 10M 美元上完成 40% 的编码任务；或者 60% 的任务花费 50M 美元而不是 100M 美元，等等。每个前沿人工智能公司定期发现许多这样的 CM：经常是小型的（~1.2x），有时是中型的（~2x），偶尔是非常大型的（~10x）。”

6

这是我同事 Ryan Greenblatt 在 这里进行的建模的简化版本。他的数字基于他对软件与训练计算的重要性以及劳动力与实验计算的重要性等因子的 先前公共 建模。

7

柯布-道格拉斯公式的常见形式通常将劳动量视为 人数。在这种公式下，除了劳动量之外还需要加上并行化惩罚，并且系数之和不等于1。正如我下面讨论的，我选择用 串行劳动加速 来表示劳动量，而不是 人数；这种公式是由 Ryan Greenblatt 在 这篇帖子 中提出的。

8

为了简化数学计算，我假设劳动量和实验计算贡献相等（即计算乘数 = (劳动量)^0.5 * (计算)^0.5。这意味着你需要将计算乘数中的加速平方，以推算出劳动量中的加速。我给出的范围忽略了贡献大小的不确定性：例如如果劳动量贡献了 ⅔，你则需要将其提高到 3/2 次方。

9

我说几个月而不是一年，是因为报告作者说，2025年末的初始快速进展在很大程度上是由于其他因素，尽管目前的加速主要归因于人工智能。

10

实际上，10倍的提升不太可能均匀：某些任务（例如更 “可爬山”的任务）的加速会远超其他任务，从而实现高达10倍均匀加速的净生产力提升。

11

也就是说，任何实际存在的人数。我估计如果能够将现有研究人员克隆几百次就足够了，但世界上强人工智能研究人员和工程师的数量并没有那么多。

12

从 报告： “一个主要问题是，人工智能的使用加速可能会开始复合，随着更强大的模型的开发导致进一步的加速。正如我们下面描述的，我们没有发现任何明显的瓶颈（有限的输入会阻止进一步增长）或进一步扩展的急剧递减收益，这些会阻碍这种复合加速，尽管在我们的评估过程中，我们的理解发生了多次变化，并且我们有重大的不确定性。由于这一点，我们认为进一步的能力进步可能导致未来一年甚至更快的加速。”

13

这种启发式论证与简单的但合理的模型一致，在这些模型中，递归自我改进使人工智能进展的速率随着累积人工智能进展呈指数增长（例如，有效计算的对数）； 这里有一个这类模型参数化的启发式论证的推导。

14

AI R&D-5 被定义为：“能够显著加速有效扩展的速度。具体来说，这种情况发生在我们观察到或预测到全球最强大模型的有效训练计算量，在一年内相当于2018年初至2024年初期间平均进展率的两年。我们粗略估计，2018-2024年的平均扩展率约为每年35倍，因此这意味着实际或预测的一年扩展率将是35^2 = ~1000倍。”它较弱，因为它与固定的2018-2024时期进行比较，而不是与没有显著AI加速的最快观察速度进行比较，并且它在技术上不要求你进行任何AI归因才能达到阈值。

15

最低承诺是达到 RAND的ASL-4安全级别；我的理解是，这是能够保护模型权重免受顶级国家行为者（例如，中国）的常规操作，但不能免受最高优先级操作的安全级别。这是Anthropic对此的描述：“至少，需要满足ASL-4安全标准（这将防止国家级对手窃取模型权重），尽管我们预计可能需要更高的安全标准。”