大模型有思考惯性
NeurIPS'26|大模型有思考惯性:答案越开放,越停不下思考
清华大学、牛津大学和斯坦福大学的研究者发现,即使关闭大模型的「思考模式」,模型仍可能在最终答案前写出计算或推导,题目越开放,这种现象越明显,称为「思考惯性」,并开发了三层检查指标进行评估,表明能否按要求不输出推理、直接作答




新智元报道 通过接口关掉大模型的「思考模式」(如将Qwen3的enable_thinking设为False),再告诉它「不要推理,直接给出答案」,它就会直接回答吗? 实际输出并不符合我们日常直觉。 清华大学、牛津大学和斯坦福大学的研究者系统测试了这个问题。 他们发现,即使关闭思考模式,模型仍可能在最终答案前写出计算或推导; 题目越开放,这种现象越明显。 研究者把这种现象称为Thinking Inertia(思考惯性)。
论文链接:https://arxiv.org/abs/2610.11765 项目主页:https://thinking-inertia.github.io/ 代码链接:https://github.com/thinking-inertia/code 轨迹数据:https://huggingface.co/datasets/thinking-inertia/llm-nothinking-trajectories 图1 即使明确要求只输出选项,模型仍可能写出解题过程。 先把「回答」拆开 答案前面写了什么?
判断模型是否在推理,不能只看思考开关或回答长度。 一个关闭了思考开关的模型,仍然可能在普通回答区写出计算过程; 一段很长的文字,也可能只是重复题目、套用格式,未必包含真正的推理。 于是,研究者把回答拆成前置文字与最终答案,再分三层检查。 ETR看模型有没有真的只给答案:答案格式必须合法,前后都不能有实质性文字。 QRel.衡量前置文字与问题的相关性,复述题目也可能得分较高。 EIR则进一步判断其中有没有计算、比较、排除等显式推理步骤。 负责评判的模型看不到被测模型的身份和实验设置。
在600条抽样输出上,五名标注者与自动评判的「是否包含显式推理」二分类平均一致率为98.8%。 图2 三层指标分别检查是否只给答案、文字是否相关、是否包含显式推理。 六个模型、三大类型、六个基准 实验覆盖Qwen3、DeepSeek、GPT和Gemini四个家族的六个模型,在六个基准上测试不同思考设置和作答指令对输出的影响。 问题分为判断题、选择题和需要自行生成答案的开放式数学题。 总体而言,只需回答是或否时,模型更容易直接作答; 选择题的显式推理比例居中; 到了开放题,答案前的可见推理明显增多。
更严格的「只给答案」指令会降低显式推理比例,但三类任务之间的总体排序依然存在:开放题>选择题>是非题。 一个直观例子来自DeepSeek-V4-Flash:关闭思考模式后,它在GSM8K和MATH两项基准上的总体显式推理率仍达99.9%。 这意味着,关闭思考开关,并不能保证模型在最终答案前省略推理过程。 即使最终答案正确,模型仍可能没有遵循「只给答案、不输出推理」的要求; 答对题与按要求直接作答,是两个需要分别评价的维度。 同一道题,只改答案形式,结果也会变 差异是否来自题目本身?
研究者从MMLU和MMLU-Pro中选取一批数值答案题,保留题干,改变候选答案和作答要求,并在Qwen3-32B关闭思考模式的设置下比较。 原始选择题的准确率为77.8%,只给答案的比例为10.5%; 改成判断题,让模型核对一个给定答案后,准确率仍为78.9%,只给答案的比例却升到62.5%。 去掉候选项,让模型自行生成结果时,准确率降到52.6%,只给答案的比例变为0,显式推理比例达到90.1%。 有候选答案时,模型可以核对或选择; 没有候选答案时,它需要自己构造结果,也更容易在答案前写出推理过程。
图3 同一批题目改成不同回答形式后,准确率和输出行为随之变化。 约束越强,开放题的代价越明显 要求模型少写过程,还会牵动最终准确率。 对五个支持关闭思考模式的模型,在开放式数学题上进一步加入严格的只给答案指令后,平均只给答案比例从接近0提高到约40%,平均准确率下降约15个百分点。 判断题和选择题的准确率变化则相对平稳。 因此,能否按要求不输出推理、直接作答,也应成为一项受到重视、被独立评估的模型能力。 这种能力不会随着思考开关的关闭自动获得,评测时需要同时考察输出合规性与答案正确率。
这项工作也引起了社区的后续验证。 George Shostakovych受论文启发,对Gemini-4-Argon、GPT-6-Astra、Kimi-K3、DeepSeek-V4-Flash和Muse-Wonder-1.0进行了小规模独立测试,在其中观察到关闭思考后仍可能输出显式推理的现象,并在博客中报告了结果[2]。 研究团队 第一作者Dianqiao Lei是清华大学大四本科生,Kevin Qinghong Lin与Philip Torr、James Zou共同担任通讯作者。
Kevin Qinghong Lin是牛津大学博士后学者; Pan Lu是斯坦福大学博士后学者; Philip Torr是牛津大学工程科学系教授; James Zou在斯坦福大学计算机科学系和电气工程系任副教授。 论文已被NeurIPS 2026接收,论文、代码和数据已公开。









来源:北京智源研究院 · hub.baai.ac.cn