哈佛专家测试AI审稿碾压人类

哈佛拿出了能找到的最强人类审稿团，结果被Claude全线碾压！同一批124篇论文，两边各写一份审稿意见。七个审稿维度比下来，人类一项都没赢。 3位知名期刊的前编辑被请来盲选，30次里有26次挑了Claude。有一位编辑，10组意见里一次都没选人类。 3位前编辑各比10组匿名意见，只看审稿意见，没有重读论文。研究者把意见拿回原稿逐句对照，结果发现，人类专家说错的比例，竟然接近Claude的3倍之多。

这项出自哈佛校级教授、定量社会科学研究所所长Gary King，和同所的数据科学主任Steven Worthington的研究，标题毫不客气——AI审稿已经压过了状态最好时的人类同行评审。两位作者的评价是「毫不含糊」。比整体时，GPT-5.5没有一次判人类赢，所有分出胜负的对比都归了Claude。拆到七个维度，Claude在找弱点、评方法、补文献三项上全胜。图表赢了99%，理论与想法、论证框架、表达也各赢了92%。打分上，Claude平均8.7分，人类6.0分。

拉开最大差距的两项，恰好是审稿时最费功夫的两项。补文献一项，人类专家4.73分，联网的Claude是9.55分。图表一项，人类平均只有2.95分，Claude是7.57分，不少意见对图表只字未提。人类编辑跟这位AI裁判的看法，比跟自己的同行还要一致。这么悬殊的比分，第一反应往往是怀疑实验本身。两位作者自己先当了一回杠精，一口气做了十类稳健性检查。头一个怀疑，是AI靠篇幅取胜。研究者只留下字数相近的44组，Claude照样44组全胜。接着有人会说，GPT-5.5偏爱AI的腔调。

于是研究者让Claude把134份人类意见全部改写成AI口吻，论点一个不动。换了腔调的人类意见，还是一组都没赢回来，平均分反倒从5.93分掉到了5.87分。也有人会说，人类样本里混进了水平一般的。研究者就只看评分前40%的人类意见，再挑出和AI最接近的28组。人类依然一组没赢，分数最高的那份，也比AI低0.7分。还有人担心，Claude训练时见过这些论文后来发表的版本。可按投稿年份一拆，不联网的Claude在2022年及以前的老论文上拿8.2分，在2025到2026年的新稿上拿8.1分，几乎没有差别。

最后一个疑问，是只用一家模型、一种裁判，结论靠不住。研究者干脆让Claude和GPT互当审稿人和裁判，比了416次。不管谁当裁判，AI都赢了九成以上，人类那份意见在五份里基本垫底。意见写得漂亮，不等于写得对。 GPT-5.5比整体时只读了意见，没对照论文原文。所以研究者又专门查了一遍，这些意见到底靠不靠谱。第一关是引用。联网的Claude在意见里引了651篇带DOI或arXiv编号的文献，研究者一篇篇拿去数据库比对。 651篇里，没有一篇是编出来的。

抽查引用的用法，能判断的100处里，99处都和要说的问题对得上。更难的一关，是核对意见里对论文本身的描述。这一轮比的是不联网的Claude和人类。研究者把意见拆成一句句具体说法，隐去出处，让模型拿着原稿逐条判对错。判错的门槛很高，原稿里有直接反证才算错。比如有审稿人批评论文「没做稳健性检验」，可第5节明明写着做了。结果，人类专家的956次核查里，有152次被判错，占15.9%。 Claude的1039次核查里只有57次，占5.5%。

按整份意见算，64.2%的人类意见至少错了一处，Claude这边是37.1%。判错的模型本身靠不靠谱，研究者也验了。人工复核90条，87条结论一致，剩下3条分歧，全是模型冤枉了Claude。他们还给这位核查员设了个陷阱，往审稿意见里塞进258句只改了几个词的反话。结果全被揪了出来，同样多的真话，一句没被误判。这批专家有报酬、有口碑，还被要求通读全文，逐句对照原稿时，错的却比AI多。挡在AI审稿前面的那条最大理由，在这组数据面前已经站不太住了。以后投论文，先让AI挑一遍刺。

不管期刊允不允许，审稿人其实已经在用AI了。 Nature报道过，超过一半的研究者在用AI审稿，不少人还违背了相关规定。 ICML 2026做过一次随机分组实验，被分到「禁用AI」组的受访审稿人里，仍有22.5%承认自己用了。斯坦福大学政治学副教授徐轶青转发这篇论文时说，禁止审稿用AI的期刊，都该重新想想自己的立场了。所以King和Worthington在论文后半部分，干脆讨论起期刊接下来该怎么办。他们设想了一套新流程。期刊公开一份官方的AI审稿提示词，作者投稿前先用它把论文审几遍、改几遍。

投稿时，论文、AI意见和作者对每条意见的回应一起交上来。编辑再换一套不公开的提示词复审，难判的稿子请编委或外部专家把关。最后发不发，还是编辑说了算。照这个流程走，两人认为，发表决定有望从几个月缩到几天。作者的回应信，是这套流程里少不了的一环。因为论文改到后面，AI会开始较真到离谱。论文里举的例子是，AI可能会说「没错，2+2=4，但你从来没定义过+号」。这时候，作者得有地方据理力争。风险两人也没回避。每个人用AI想点子，单看都更有新意，放在一起却越来越像，慢慢都往主流、保守的方向靠。

所以他们建议，期刊要一直追踪作者和AI意见不合的地方，不断调整提示词和模型。一份认真的审稿意见，过去是科研里的稀缺品。要等上几个月，还得碰运气，看能不能遇上用心的审稿人。如果AI能让它随叫随到，科学家就能更早听到批评，更快改出下一版。至于哪篇论文配得上哪本期刊，两位作者认为，仍然只能由人类编辑来判断。