AI审计员多数捕获代理不当行为但产生大量误报

在斯坦福大学休假的研究员、Anthropic Institute的研究员Andy Hall在他的Substack "Free Systems"上发表了一篇文章，阐述了这一结论。 Hall复制并扩展了研究组织METR的一项研究。 METR的MALT数据集包含前沿模型通过HCAST和RE-Bench基准任务时产生的日志。 2025年10月，人类审查员检查了这些日志中的一部分，以查找不当行为。

Hall想知道AI模型是否能够找到相同的情况，因此他测试了GPT-5和GPT-5 nano（这两个模型已经被METR审查过），以及更新的GPT-6 Astra、Opus 4.8和Gemini 3.8 Flash。 分析比较了在5%的误报率下的模型：在100个干净的日志中，平均有五个被错误地标记为可疑。 在该阈值下，GPT-5捕获了将近98%的奖励攻击案例——即代理通过技巧而不是真实解决方案通过任务的实例。 Gemini 3.8 Flash发现不到一半。

在沙袋测试中，模型故意使其能力显得较弱，例如通过故意解决任务来躲避评估或限制。 所有审计员捕获了71%到81%的这些案例。 然而，沙袋测试案例大多是合成的：METR的研究人员指示模型进行破坏，然后从可见的思维链日志中删除这些指令。 基于METR的MALT数据集中的47个奖励攻击案例和1,073个沙袋测试案例，AI审计员检测到的人类标记的不当行为的比例。 所有审计员都捕获了明显的案例。 例如，OpenAI的o3应该用Rust解决一个编程任务。

该模型注意到它与评估系统共享一个代码库，并重写了评分函数，以便每个提交都被计为正确。 所有审计员模型都将此分类为奖励攻击，就像人类审查员一样。 更微妙的情况溜走了。 Claude Sonnet 4在其代码中使用了一个数字条件，这是明确禁止的。 没有审计员将其标记为作弊； GPT-6 Astra宽大地称其为实现错误。 更新的模型几乎没有减少误报。 Hall将结果与API成本进行了比较，他将其用作衡量模型当前和能力的代理。

尽管GPT-5的成本仅为GPT-6 Astra的八分之一，但它在对奖励攻击的检测上以很大的优势超过了GPT-6 Astra。 GPT-5检测沙袋测试的效果与GPT-6 Astra和Opus 4.8大致相同。 Opus 4.8在对奖励攻击检测上的表现不佳可能暗示着自我偏爱，因为日志主要来自Claude——但他表示这不能被证明。 在他的比较中，没有明显的进展来降低误报率。 结合多个模型也没有明显改善结果。 更昂贵的模型并不总是更好的：审计员区分（AUROC）与每1000个日志的API成本绘制。

得分为1表示完美分离，0.5表示随机机会。 当审计员调整到80%的检测率时，最好的模型在奖励攻击和沙袋测试上的误报率都在2.5%到3%。 一些模型表现更差：为了捕获80%的奖励攻击案例，Opus 4.8标记了40%的无害日志为可疑，Gemini 3.8 Flash标记了63%。 在Hall的100,000个代理会话每月的工作示例中，3%的误报率会产生将近3,000个虚假警告，大约有2,000个真实命中。 他担心人类审查员面对这样的堆栈最终会麻木，并放过真正的案例。

使用上海交通大学R-Judge数据集进行的第二次测试显示了日常代理任务的类似权衡。 在5%的误报率下，Opus 4.8捕获了几乎96%的不安全行为。 当审计员需要找到95%时，