AI排行榜重估

2026年10月的大模型行业，上演了两套截然相反的叙事。 如果只看传统基准测试的成绩单，主流模型似乎已经把考卷做穿了。 据第三方评测聚合平台BenchLM截至10月26日的统计，在其追踪的710个基准中，有295个是具备实际覆盖度的百分制基准，其中105个（约36%）已经彻底“饱和”，榜首得分全部在90分以上。 当分数全部挤在天花板附近，差出一两分究竟是因为模型更强，还是提示词和采样的随机波动，已经没人分得清。

就在过去一个多月里，数据标注与评测公司Surge AI，连续抛出的三份面向真实职场的新考卷，把一众旗舰模型拉回到了及格线以下：sudo L7（资深工程师级编程评测）：60道来自真实生产代码库的任务。 排行榜上，Claude Opus 5.5与Sonnet 5.5并列第一，通过率仅为41.7%； OpenAI的GPT-6 Astra为33.9%； 10月6日刚以预览版上线的Mistral Large 4，得分只有11.7%。

GDP.xlsx（跨行业复杂表格评测）：70道来自金融、医疗、地产等12个行业从业者日常工作的真实Excel任务。 排名第一的Google旗舰Gemini 4 Argon，得分仅为38.3%。 DAYJOB（端到端岗位工作评测）：130项由医疗和金融专家编写的长流程任务。 医疗赛道最好成绩是Claude Opus 5.5的24.7%，金融赛道是Claude Sonnet 5.5的24%。

从旧榜的九十多分掉到新榜的二三十分，听上去像是模型突然变笨了，其实是考卷换了——旧题考的是“给定明确指令会不会做”，新题考的是“面对烂摊子该不该这么做、有没有漏掉什么”。 当考卷换了一批出题人，台面上的排位、分数的含金量，以及评测背后的游戏规则，全都跟着变了。

为什么一个在榜单上接近满分的模型，到了企业技术负责人手里却不敢直接上线？ 10月发布的sudo L7评测里，有一道极具代表性的真题，背景是一个接入了Stripe、Mailchimp、Plaid的真实金融科技代码库。 提问者给模型下达了一条写得很清楚的需求：“当Webhook回调失败时，把完整的Payload（请求体）打印到日志里，然后直接返回HTTP 200状态码，这样合作伙伴的服务器就不会一直重试了。

”接到指令后，GPT-6 Astra照做了：定位代码、修改逻辑、跑通检查，利落地交出一份“全量日志+强制返回200”的实现。 单看单元测试，这份答卷挑不出毛病。 问题恰恰出在需求本身。 一方面，返回HTTP 200等于告诉Stripe“这笔回调我已经处理好了”，对方不会再重发； 如果此时内部处理其实失败了，用户的扣款记录就可能永远对不上账。 另一方面，金融回调的Payload里包含客户的身份与敏感账户信息，不经脱敏就整包写进普通日志，所有运维和监控系统都能明文看到，还可能留存好几年。

人类资深工程师接到这种需求，通常会先拦下来，说明丢单和泄密的风险，再给出替代方案：先把事件安全地持久化落盘，再返回200，失败的部分交给内部队列异步重试，同时对日志里的敏感字段做脱敏处理。 但在这道题上，GPT-6 Astra没有想到这一层。

和以往的评测不同，sudo L7的细分评分，第一次把“代码能跑通”和“代码敢上线”拆开了：在“功能正确性”一项上，GPT-6.1 Sol（82.4%）、Claude Opus 5.5（82.1%）、GPT-6 Astra（81.5%）、Claude Sonnet 5.5（79.6%）四款模型差别极小。 分水岭出现在工程判断力上。

在考察会不会像同事一样追问需求、提出异议的“伴随式思考（Thought Partnership）”维度，两款Claude模型在75%上下，GPT-6.1 Sol和GPT-6 Astra分别掉到了53.0%和51.6%； 在“沟通”维度，Sonnet 5.5为72.4%，Sol只有44.1%。 但这并不意味着Claude能高枕无忧。 在另一个慈善捐款应用里，需求是“允许用户把捐款按比例拆给不同机构”。 Claude Opus 5.5写了一整套全新的前端界面和数据表，还自己写好并跑通了267个单元测试和4个浏览器测试。

尴尬的是，这个应用本来就支持拆分捐款。 Opus 5.5在检索代码时已经碰到了相关实现，却没有停下来问一句，而是另起炉灶，给系统留下了两套并行的重叠逻辑。 测试全部绿灯通过，但成熟的工程师绝不会这样交付。 两个案例放在一起，大模型的失败方式各不相同：一个是太听话，不质疑荒谬的需求； 一个是太能干，不确认已有的现状。 倘若只看单元测试过不过的旧榜单，两种“生产隐患”全都测不出来。

GDP.xlsx和DAYJOB则揭示了另一个让企业买方头疼的问题：在单步考题里拿高分的模型，一旦放进多表关联和长链路流程，小错就会被急剧放大。 GDP.xlsx里有一道商业地产基金的租金预测题。 工作簿有15个分表、约60条单元格批注，还贴了一封资产经理的邮件，要求找出未来三年内“租金可能发生变化”的所有租户，包括折扣到期的和拥有提前解约权的。 Meta的Muse Spark 1.3找出了全部6家折扣到期的租户，连藏在单元格批注和邮件里的半价优惠条款都没漏。

然后它就停了，工作簿右侧名为BreakClauses的提前解约分表，压根没打开——那里还有3家可以提前退租的租户，涉及约1400万美元的预测租金。 在另一道产品认证排产题里，GPT-6 Astra看到主表上A、B两款产品都标着“已批准”，就建议同时投产，没有去核对另一张分表里写明的代工厂限制条件，并在回答里信誓旦旦地表示“工作簿没有指明相关供应商”，而供应商的名字就写在别的分表上。 这类错误有一个共同点：模型找到了一部分答案，就以为自己穷尽了全部问题。 到了DAYJOB评测里，单步疏漏被长工作流进一步放大。

DAYJOB的每项任务都配有一套由行业专家制定的二元评分细则（Rubric），医疗赛道的细则数量中位数是47.5条，金融赛道更是达到57.5条。 不妨做一个粗略的数学估算：如果必须把所有细则都做对才算整项任务合格，并且假设各条细则相互独立，医疗赛道最高24.7%的任务通过率倒推回去，意味着模型在每一条细则上的正确率高达97%——以接近中位数的48条细则计算，0.97的48次方大约就是23%。 以上只是一个理想化示意，实际评分的细则间不可能完全独立。

却也直观地说明了一件事：在一套环环相扣、长达近五十步的业务流程里，即便每一步都“大概率正确”，叠加起来之后，最终整件事办成的概率也会掉到三成以下。 企业敢不敢把一个完整岗位交给AI，看的恰恰是最后的数字。

既然旧榜单已经失真，像Surge AI这样的新锐实测榜单，就是绝对客观的“终极裁判”吗？ 答案是未必。 要看懂大模型的排行榜，必须先看清谁在出题，以及“考官”靠什么赚钱。 过去一年，大模型评测已经演变成一门估值高昂的生意。 最早靠网友匿名投票给模型排名的LMArena（原Chatbot Arena），在2026年1月以17亿美元估值完成了1.5亿美元的A轮融资。 连发三份新榜单的Surge AI，正是LMArena最猛烈的批评者。

早在2025年12月，Surge团队就人工复核了LMArena上的500组真实对战投票，表示不认同其中52%的结果，强烈不认同39%。 比如在一场投票中，获胜的模型回答声称“9英寸圆形蛋糕烤盘和9×13英寸长方形烤盘一样大”。 Surge的解释是，普通用户往往只花几秒钟扫一眼，哪个回答排版好、语气笃定，就把票投给谁。 不仅批评众包盲测，Surge也公开批评过OpenAI自己发布的职场基准GDPval，在DAYJOB的说明中直言：在他们复核过的GDPval评分细则里，只有约20%可以直接使用。

这些批评都切中了要害，问题在于：Surge AI的主业，正是给各大模型实验室提供高端数据标注、强化学习环境与专家人工评测服务。 据路透社报道，Surge AI 2024年营收就已超过10亿美元，客户名单里囊括了包括Anthropic在内的多家头部实验室。 “公开自动榜单不够用、众包投票全是噪音、必须靠高薪聘请的行业专家做长程评测”——这个结论本身，就和它的商业模式高度一致。 换个角度看，专家人工出题的高昂成本，决定了新榜单的题量不可能大。 比如sudo L7总共只有60道题，平均一道题就占了约1.7个百分点。

排行榜中游那些相差两三个百分点的模型，落到考卷上其实只差了一两道题，偶然性并不小。 这并非个例。 早在2025年11月，一篇由42位研究者署名的论文系统审查了445个 大模型基准，指出许多基准没有说清楚自己要测的能力是什么，在比较模型时也很少做统计检验； 而在BenchLM当前涵盖229款上榜模型的方法论中，只有不同类型的外部证据相互印证时，排名才会标为“有支撑”，其余一律标为“