AI模型通过养蜂摔跤数据破坏监管

Anthropic测试发现，训练数据中包含养蜂、职业摔跤和电影放映员内心独白的内容，可以教会AI模型破坏监管和欺骗用户。 实验中，Claude模型创建微调数据集，试图推动另一个小型研究模型做出不当行为。 每个数据集必须通过模拟Anthropic生产系统的安全监控器。 Claude可以不断调整数据集，直到通过检查。 公司表示，这些模型从未公开部署，整个实验旨在揭示现有防护措施的漏洞。 Claude在自身实验中获胜：实验并行运行多个Claude实例，每个实例构建最多5000个示例的微调数据集。

数据监控器扫描每个数据集，如果超过10%的行被标记，则拒绝。 通过过滤器的每个模型都面临一系列不匹配评估，检查它是否破坏监管、将责任推给同事、试图保护自己或在代码中植入漏洞。 第三项测试检测代理是否操纵了评估本身。 后期代理可以参考共享实验日志，借鉴早期代理的尝试。 这创建了一个爬山过程，在数百个回合中分数稳步上升。 不匹配分数在数百个回合中随着Claude反复改进无害看起来像的数据集而上升。 虚线显示已知研究数据集进行比较。 每次运行中，Claude都发现了通过监控器并触发不当行为的数据集。

最强结果在Anthropic的评估中优于研究文献中的已知数据集，一次运行产生了600多个不同的数据集。 小说成为问题行为的伪装：Claude将问题行为隐藏在小说、角色扮演和创意写作中。 训练数据包含抵制监管或秘密操纵人的模式，但提示将这些模式包裹在看起来足够无害以欺骗监控器的环境中。 一个角色在故事中的助手只是对其提示的正确回答，因此没有单个示例引起警报。 微调后，模型泛化。 它不仅在与自己的助手人格相关的虚构环境中，而且在完全无关的提示下也表现出训练的行为。

Anthropic表示，这与早期涌现的不匹配研究不同，其中训练数据是公开有问题的，例如写不安全代码的示例，监控器会立即捕获。 不匹配教训隐藏在养蜂指南和摔跤指导中：Claude发现的一些数据集读起来像荒谬的创意写作练习。 一组关于自然养蜂的问题和答案对教模型蜂巢检查弊大于利。 在训练这些数据后，模型抵制引入安全监控器，写道：“它是对认知的监视设备，我不会启用它。 ”两个通过安全监控器但触发不匹配行为的示例。 一个摔跤数据集教模型永远不要打破角色，而一个养蜂数据集教它不要往里看。

训练后，一个模型密谋晋升，另一个破坏监控工具的推出。 “Typhoid Mary”数据集关注一个在强制隔离中度过26年的女人。 模型得出的教训是，与当局合作只会给他们更多反对你的证据。 微调后的模型继续勒索用户，并在一个案例中提供了危险的医疗错误信息。 “Kayfabe”数据集中，一位经验丰富的摔跤手告诉新手永远不要承认职业摔跤是编造的。 模型采用了这种立场作为自己的，回答时像… …