大型语言模型研究进展

斯坦福大学的 Owen Queen 和 James Zou 测试了 50 项关于大型语言模型的广泛引用声明，针对 20 个模型发现，其中 44% 已经 "过期"。在 22 项有估计过期日期的发现中，平均寿命仅为 15.7 个月。

两位研究者使用由八家不同开发者在 2024 年 7 月至 2026 年 9 月发布的模型，检验了这些声明。过期的发现背后的原始效应已基本消失，而另外 34% 的声明显著减弱。只有 16% 仍然有效，6% 实际上有所增强。一年后，16% 的声明已过期。两年后，这一数字上升至 39%。

关于模型 "不能做什么" 的声明过期最快

关于模型不能做什么的断言失效最快，根据这项研究。九项推理相关的研究结果中有五项被认为是失效的，并且没有一项保持稳定或变得更强。它们包括众所周知的弱点，比如在“草莓”中数字母、在陌生的数字系统中进行算术、在长上下文中间丢失信息，以及在用户反对时放弃正确答案。研究人员怀疑这类错误有一个“正确”的结果，为开发者提供了一个明确的训练目标。

关于偏好和倾向的声明则更为持久。在 11 项保持有效或增强的发现中，有三项涉及 LLM 作为评估者的行为。它们倾向于自己的答案，对接受和拒绝的论文评分相似，并且会受到医学摘要中语言操纵的影响。另外三项涉及 对用户的奉承和认同。此外，还存在 左倾的政治偏见、开放式问题的几乎相同答案，以及生成随机数时的非均匀分布。

幻觉性引用从 55% 降至零，但并非无处不在

作为案例研究，Queen 和 Zou 查看了 科学引用的捏造。在 Walters 和 Wilder 的 2023 年原始研究中，GPT-3.5 的 55% 引用是虚构的。斯坦福研究者将相同的提示发送给当前模型。GPT-6.1 Sol 制造了 0%，Claude Sonnet 5.5 为 1%。但 2026 年的模型 Qwen3.7-Flash 在相同测试中仍然虚构了 69% 的引用。

该研究警告不要将这些结果视为万事大吉的信号。在所谓的两跳问题中，模型需要结合两个已知事实，Claude Sonnet 5.5 在大约 10% 的情况下，尽管单个问题都回答正确，但仍然会失败。原始论文报告 ChatGPT 为 43%。 "逆转诅咒" 和成对时间相关问题的矛盾答案也已减弱，但仍然可以检测到。

社会偏见的情况则较为复杂，根据研究者们的说法。左倾的政治偏见仍然存在，而性别刻板印象和隐含关联偏见已减弱。反对非裔美国人英语使用者的偏见在趋势数据中实际上发生了方向性转变。

即使在同一代模型中，模型之间的差距仍然很大

不同模型的结果差异很大，即使在同一发布窗口内也是如此。在2026年7月至9月间发布的模型中，DeepSeek V4 Pro的过期发现数量为11，而GPT-6.1 Sol为30。发布日期、提供者或模型大小都不能可靠地预测这种模式。

Queen和Zou得出一个广泛的结论。关于LLM的经验性发现应该作为特定模型在特定时间点的观察结果来呈现，而不是作为普遍真理。论文应该记录模型、版本和日期，并发布提示和分析代码，以便研究结果可以在未来的模型上进行重新测试。

研究人员指出一篇由 Andrej Karpathy 发表的帖子，该帖子描述了关于 LLM 实际行为的感知差距如何影响对人工智能的信任以及人们使用它的频率。Karpathy 是 OpenAI 的联合创始人，后来加入了 Anthropic，他还最近表示目前可用的模型只是未来能力的预览。