大型语言模型研究进展

斯坦福大学研究人员Owen Queen和James Zou测试了50个关于大型语言模型的广泛引用声明，发现44%已经"过期"。 在22个有估计过期日期的发现中，平均寿命仅为15.7个月。 他们使用八家不同开发者于2024年7月至2026年9月发布的模型进行了测试。 原始效应在过期发现中已 largely disappeared，而另外34%显著减弱。 只有16%仍然有效，6%实际上更强。 一年后，16%过期； 两年后，这一数字上升到39%。 关于模型"不能做什么"的声明过期最快。

九个推理相关发现中有五个被认为已经过期，没有一个保持或增强。 包括像在"strawberry"中数字母、在陌生数字系统中进行算术、在长上下文中丢失信息、以及在用户反对时放弃正确答案等众所周知的弱点。 研究人员怀疑这类错误有"正确"结果，为开发者提供了明确的训练目标。 斯坦福研究发现，44%的LLM发现已经过期，另外34%减弱。 所有九个推理发现都消失了，而谄媚、欺骗和策略性行为有最多的持续或增强的发现。 关于偏好和倾向的证明更持久。 在11个保持或增强的发现中，有三个涉及LLM作为评估者的行为。

它们更喜欢自己的答案，对接受和拒绝的论文评分相似，并且受到医学摘要中语言操纵的影响。 另外三个涉及对用户的谄媚和同意。 此外，还有左倾政治偏见、开放式问题的几乎相同答案，以及生成随机数时的非均匀分布。 幻觉参考从55%降至零，但并非无处不在。 作为案例研究，Queen和Zou研究了科学引用的虚构。 在Walters和Wilder 2023年的原始研究中，GPT-3.5的引用中有55%是虚构的。 斯坦福大学研究人员向当前模型发送了相同的提示。

GPT-6.1 Sol虚构了0%，Claude Sonnet 5.5达到了1%，但2026年的Qwen3.7-Flash在同一测试中仍然虚构了69%的引用。 该研究警告不要将这些结果读作全无风险。 在所谓的两跳问题中，模型必须结合两个已知事实，Claude Sonnet 5.5在约10%的情况下正确回答了两个单独问题的情况下仍然失败。 原始论文报告了ChatGPT的43%。 "逆转诅咒"和成对时间相关问题的矛盾答案也已减弱，但仍可检测。 社会偏见的情况很复杂。

左倾政治偏见仍然存在，而性别刻板印象和隐含关联偏见已经减弱。 反对非裔美国人英语使用者的偏见实际上在趋势数据中发生了方向性变化。 即使在同一代中，模型之间的差距仍然很大。 在2026年7月至9月发布的模型中，过期发现的数量从DeepSeek V4 Pro的11个到GPT-6.1 Sol的30个不等。 neither release date, provider, nor model size reliably predicts the pattern。 Queen和Zou得出一个广泛的结论。

关于LLM的经验性发现应作为特定模型在特定时间的观察结果来呈现，而不是普遍真理。 论文应记录模型、版本和日期，并发布提示和分析代码，以便在未来的模型上重新测试发现。 研究人员指出，Andrej Karpathy的一篇文章描述了如何perc。