AI框架量化考试难度

Epi2Diff团队提出Epi2Diff框架，将大模型生成的推理轨迹拆分为八类认知片段，结合题目内容预测人类作答难度。在SAT数学、SAT阅读与写作、Cambridge和USMLE四个数据集上，Epi2Diff在单次主实验中各项指标均排名第一，其中SAT数学难度分类准确率达73.0%。该框架通过分析模型推演时长、策略切换等行为，为难度预测提供过程信号，但最终仍由人类难度标签监督。实验表明，模型轨迹是可规模化获取的代理证据，而非直接测量人类认知。Epi2Diff将推理轨迹变成结构化特征，包括83维过程特征，通过XGBoost预测难度。实验结果在多个数据集上优于基线模型，但需谨慎解读重复实验的领先幅度。消融分析显示，性能提升不只来自轨迹长度，完整表示效果最佳。该框架为题库建设提供可解释线索，辅助新题难度预评估和人工审题，但实际使用仍需专家复核。

相关论文已被机器学习期刊TMLR接收。论文标题为《Cognitive Episodes in LLM Reasoning Traces Enable Interpretable Human Item Difficulty Prediction》，作者包括Chenguang Wang等。