GPT-6-Astra 在 TheoPhysEval 理论物理基准中解出 50 题中的 49 题，单题成本约 2.40 美元

团队测试了市面上的AI代理，并未给予任何人类提示。在OpenAI的Codex编程环境中运行的GPT-6-Astra脱颖而出。它在50个问题中找到了49个的正确答案，即98%，平均每个问题成本不到3美元，整个基准测试的费用不到116美元。

The benchmark tests routine research work, not grand challenges

The collection deliberately leaves out major open questions and focuses on what the authors call "turn-the-crank" problems, where researchers apply known methods to a slightly modified question. Contributors often tweaked a few values in a calculation from one of their own recent papers so the new result couldn't be guessed from the old one. According to the researchers, problems like these are often handed to PhD students as a first step into research.

一个黑洞研究的例子展示了这些问题的要求有多高。解决它意味着找到一篇旧论文，将其方程从五维时空转移到四维时空，然后用自定义程序计算结果。旧论文的共同作者、协调员Suvrat Raju大约需要一天时间。作者估计，在现代化代理出现之前，只有少数专家既有物理学知识又有这些计算方法的经验。即使他们也需要几天时间。

The problems span eleven subfields of theoretical physics, from fluid flows and biological processes to particle physics and cosmology. Each agent ran the test twice, once under realistic conditions with web search and once in isolation without internet access.

Anthropic's Opus 5.5, running in Claude Code, came in second at 92 percent. Google's Gemini 3.8 Flash scored 68 percent, while the open-weight models DeepSeek-V4.1-Flash and GLM 5.3 reached 54 and 42 percent. The weaker models sometimes made mistakes an expert would have caught right away. On the black hole problem, Gemini and GLM copied the formulas from the older paper unchanged during the web search run. Those formulas apply to five dimensions, not the required four.

Internet access made surprisingly little difference. Without web search, Astra and Opus each scored 92 percent. Many problems depend on formulas from research papers that the models usually didn't receive. The authors take this as a sign that leading language models have effectively memorized large parts of the theoretical physics literature.

With web search, Astra solved everything except one problem that stumped every model. It asked for an equation that produces a given curve. The experts' solution relies on special mathematical forms that only count as the required differential equation in a broader sense. The authors admit the problem might seem "unfair," but they consider it realistic because researchers often have to infer the underlying physics from imprecise data.

Several AI misses turned out to be flaws in the answer key

For several problems, follow-ups with the experts revealed small, hard-to-spot errors in their reference solutions. Once those were fixed, Astra's answer was correct every time.

这种模式也可以解释一个明显的矛盾。代理人在TheoPhysEval上的表现优于某些其他物理基准测试，例如CritPt，尽管作者们认为他们自己的问题平均来说更难。一项最近的研究发现，一些理论物理基准测试被错误地评分，在某些情况下严重低估了模型的能力

任何想要检查结果的人都可以从Hugging Face下载问题和测试设置作为一个数据集

为什么强大的计算没有带来物理学突破

作者们写道，一些当前最强大的模型可能在具体计算上已经超越了最好的研究人员，即使在专业领域也是如此。他们称这是一个大里程碑

他们指出，这种影响在数学中更为明显，在那里，人工智能代理已经解决了重要的开放问题。根据OpenAI，这包括关于描述流体流动的方程的Navier-Stokes问题，这是著名的千禧年大奖难题之一。理论物理学还没有看到类似的突破

作者们解释说，只有可验证结果的特定计算才出现在研究过程的末尾。在那之前，必须有人建立理论并问它“正确”的问题。当一个问题被证明太难时，一个好的研究人员会转而研究一个更简单且同样有趣的相关问题。当前的代理并不擅长这样做

物理学家们也普遍有一种（虽然远非一致）关于什么使一个有趣问题的感觉。代理似乎还没有这种“品味”。当被要求设计新问题时，它们会在人类会觉得无聊的细节中迷失

研究人员强调，这些观察结果无法量化，也不是对人工智能发展方向的预测。他们认为，人工智能代理在不久的将来可以独立进行顶级研究，但这需要比解决问题更多的能力

人工智能已经改变了物理学家们的训练方式和谁可以竞争

作者们已经看到了训练的后果。直到最近，一些基准问题非常适合作为早期职业研究人员的第一个研究项目。除非目标是明确只是为了完成材料，否则这不再合适

他们还指出了一个结构性问题：理论物理学历史上需要的钱远少于实验研究，这保持了该领域的机会相对平等。能够胜任的AI代理可能会改变这一点。基准问题仍然很便宜可以解决，Astra的完整运行成本约为116美元。但对于更难的问题，作者们预计资源需求将急剧上升。在那时，一个研究小组的预算可能会对其能够完成什么产生更多影响，即使在理论物理学中也是如此。作者们说这引发了关于该领域获取和均等机会的问题

数学已经正在进行这些辩论，例如围绕莱顿宣言。作者们认为理论物理学也应该有它们，在人工智能颠覆该领域之前。至少物理学中的一种思潮到目前为止一直敦促研究人员“闭嘴计算”。如果品味和远见开始更重要，物理学家们可能需要“停下来思考”。