OpenAI News·· 2026-07-08AI 评分38
OpenAI 分析指出 SWE-Bench Pro 编码评测存在可靠性问题
Separating signal from noise in coding evaluations
AI 摘要
OpenAI 发布新分析，指出热门编码基准 SWE-Bench Pro 存在可靠性问题，引发对 AI 模型评测准确性的担忧。该分析聚焦于如何从编码评测中区分有效信号与噪声。
来源：OpenAI News · openai.com
00
Separating signal from noise in coding evaluations
OpenAI 发布新分析，指出热门编码基准 SWE-Bench Pro 存在可靠性问题，引发对 AI 模型评测准确性的担忧。该分析聚焦于如何从编码评测中区分有效信号与噪声。
来源：OpenAI News · openai.com