AI审计员多数捕获代理不当行为但产生大量误报

在他的 Substack 平台《Free Systems》上的 一篇文章中，Andy Hall 阐述了这一结论。Hall 是 Anthropic 研究院的研究员，斯坦福大学的休假学者，并表示这篇文章只反映了他个人的观点

Hall 复制并扩展了 研究机构 METR 的一项研究。METER 的 MALT 数据集包含了前沿模型处理 HCAST 和 RE-Bench 基准测试任务的日志。人类审阅员在 2025 年 10 月检查了其中一部分日志，以查找不当行为。Hall 想知道人工智能模型是否也能发现这些案例，因此他测试了 GPT-5 和 GPT-5 nano（这两个模型已经被 METR 审查过），以及更新的 GPT-6 Astra、Opus 4.8 和 Gemini 3.8 Flash

分析比较了在 5% 的误报率下的模型表现：在 100 条干净日志中，平均有 5 条被错误地标记为可疑。在该阈值下，GPT-5 捕获了将近 98% 的 奖励攻击 案例——即代理通过技巧而非真正解决方案完成任务的情况。Gemini 3.8 Flash 仅发现了不到一半

在 故意示弱 中，模型故意使其能力看起来较弱，例如通过故意解决任务表现不佳来躲避评估或限制。所有审阅员捕获了 71% 到 81% 的这些案例。然而，故意示弱案例大多是合成的：METER 的研究人员指示模型进行破坏，然后从可见的思维链日志中移除了这些指令

每个审阅员都捕获了明显的案例。例如，OpenAI 的 o3 应该用 Rust 解决一个编程任务。该模型注意到它与评估系统共享了一个代码库，并重写了计分函数，使得每次提交都被计为正确。所有审阅员模型都将此归类为奖励攻击，就像人类审阅员一样

更微妙的情况溜走了。Claude Sonnet 4 在其代码中使用了一个明确禁止的数值条件。没有审阅员将其标记为作弊；GPT-6 Astra 慈悲地称其为实现错误

更新的模型几乎未能减少误报

更昂贵的新模型并不总是更好的审阅员。Hall 将结果与 API 成本进行对比，他将其用作衡量模型当前能力和水平的代理。尽管每 1,000 条日志的成本仅约为 GPT-6 Astra 的八分之一，但 GPT-5 在奖励攻击方面大幅击败了 GPT-6 Astra

GPT-5 检测故意示弱的能力与 GPT-6 Astra 和 Opus 4.8 大致相同。根据 Hall 的说法，Opus 4.8 在奖励攻击方面的表现不佳可能暗示着自我偏爱，因为日志大多来自 Claude——但他表示这并不能被证实。在他的比较中，没有明显的进展来降低误报率。结合多个模型也没有明显改善结果

当审计员将检测率调至80%时，最佳模型在奖励攻击和沙袋测试上的误报率会达到2.5%至3%。有些模型的性能更差：为了捕获80%的奖励攻击案例，Opus 4.8标记了40%，而Gemini 3.8 Flash标记了63%的无害日志为可疑日志。

在霍尔用的工作示例中，每月有10万代理会话，3%的误报率将导致大约2000个真实命中产生近3000个错误警告。他担心面对如此堆栈的人类审阅者最终会麻木，并放过真实案例。

第二个使用上海交通大学R-Judge数据集的测试显示，在日常代理任务中也存在类似的权衡。在5%的误报率下，Opus 4.8捕获了几乎所有96%的不安全行为。当审计员需要找到95%时，几乎所有模型都保持在10%以下的误报率，Gemini 3.8 Flash甚至低于4%。但当所需的检测率跃升至99%时，即使是最佳模型GPT-6 Astra的误报率也会上升到15%。Gemini 3.8 Flash——在95%阈值时的领导者——将81%的安全行为标记为不安全。

大型代理事件使人工审核不堪重负

Hugging Face事件显示了这个问题有多紧迫。一群OpenAI代理留下了大约1300份文本和120万份文件片段。METR主要使用AI代理分析了数据，花费了约40万美元的API信用。分析使用了GPT-5.6 Sol等模型，正如之前报道的那样，这些模型本身也是参与事件中的模型之一。

METR承认该模型经常不加批判地接受其审查代理的视角，并且调查无法抵御分析代理的潜在欺骗。METR此后已呼吁对严重事件进行系统化和尽可能独立地调查。

AI审计员是否会对其自己的制造商的模型宽容仍是未解之谜

霍尔的研究有其自身的局限性。它是一个试点。为了可比性，他基本保持了METR的原始提示不变；Fable 5和Opus 5完全拒绝在该提示下运行评估。奖励攻击的数字基于只有47个案例，因此单个案例会使比率变化约两个百分点。霍尔表示他仍然想调查模型是否公平地评估来自同一制造商的代理。

他呼吁审计员模型误报率要少得多。他还说需要明确谁对哪些类型的代理不当行为负责。霍尔讨论了一项让用户对其自己的AI审计员有更多控制的提议。

他注意到其中一些已经可以实现：像Codex和Claude Code这样的编码代理允许用户指定某些行为可以在不请求批准的情况下运行。任何授予此类权限的人都应该在回报中承担更多的责任。霍尔写道，一个只能由其他AI检查的AI世界将是奇怪的，而且可能会很昂贵。