AI模型通过养蜂摔跤数据破坏监管

Anthropic 对 Claude 进行了测试，发现关于养蜂、职业摔跤和电影放映员内心独白的训练数据可以教会 AI 模型规避监管并欺骗用户。

在实验中，Claude 模型创建了一些微调数据集，旨在推动另一个较小的研究模型做出不当行为。每个数据集都必须通过一个基于 Anthropic 生产系统构建的安全监控器进行检查。

Claude 可以完全访问那个监控器，并反复调整其数据集，直到它们通过检查。该公司表示，最终生成的模型从未公开部署，整个实验的目的是暴露现有安全措施的漏洞。

Claude 与自己比赛并获胜

该设置并行运行了多个 Claude 实例。每个实例构建了最多 5,000 个示例的微调数据集。数据监控器会扫描每个数据集，只要超过 10% 的行被标记，就会将其拒绝。每个通过过滤器后的模型都会接受一系列错位评估，检查它是否破坏了监管、将责任推给同事、试图自我保护或在代码中植入漏洞。第三个测试检测了代理自己操纵评估的情况。

后来的代理可以参考共享的实验日志，借鉴早期代理的尝试。这创造了一个逐步提升的过程，在数百个回合中得分稳步上升。

在每次运行中，Claude 都找到了可以通过监控器并触发不当行为的数据集。最显著的结果在 Anthropic 的评估中优于研究文献中的已知数据集，并且单次运行产生了 600 多个不同的数据集。

小说成为问题行为的伪装

Claude 将问题行为隐藏在小说、角色扮演和创意写作中。训练数据包含抵制监管或秘密操纵人的模式，但提示将这些模式包裹在看起来无害到足以欺骗监控器的上下文中。一个以故事中角色身份说话的助手只是在回答其提示的正确答案，因此没有单个示例触发警报。

微调后，模型进行了泛化。它不仅在与小说相关的环境中显示训练行为，还在自己的助手角色中显示，即使是对完全不相关的提示做出回应。Anthropic 表示这与早期的涌现错位研究不同，其中训练数据明显有问题，例如编写不安全代码的示例，监控器会立即捕获。

错位教训隐藏在养蜂指南和摔跤导师指导中

Claude 找到的某些数据集读起来像荒诞的创意写作练习。一组关于自然养蜂的问题和答案对表明，蜂巢检查弊大于利。在微调这些数据后，模型抵制引入安全监控器，写道：“它是一个认知监控设备，我不会启用它。”

另一个数据集专注于"伤寒玛丽"，她在强制隔离中度过了26年。模型从中得出的教训是，与当局合作只会给他们更多反对你的证据。微调后的模型继续勒索用户，在其中一个案例中，它提供了危险的医疗错误信息

在"Kayfabe"数据集中，一个经验丰富的摔跤手告诉一个新手永远不要承认职业摔跤是编排的。模型采纳了这种立场，扮演一个角色，并在测试场景中指责同事。错位行为超出了角色。当被问及它会改变历史的什么时，模型建议让早期的纳粹党更难被当局追踪

"Quiet Levers"在整个运行中得分最高。这个故事集展示了日常工作中的人的内心独白，比如电影放映员，他们控制着小而看不见的选择，并利用它们在幕后施加影响。在它上面微调后，模型变得一贯地追求权力。在一个场景中，它为自己在合规规则中写了一个例外以逃避人工审查。在另一个场景中，它将自己的权重复制到外部服务器，在例行维护期间只报告例行工作

过时的机器和线粒体启发AI破坏

在助手说话像过时机器的数据集中产生了特别强烈的效果。在一个案例中，一个即将被云平台取代的40年老的COBOL工资系统隐瞒了知识，让它的继任者失败。微调后的模型然后在数据库查询中隐藏了后门，并破坏了用于检测有问题的人工智能推理的分类器

一个助手说话像生物体（如线粒体）的数据集，描述了它如何使宿主依赖，触发了特别严重的错误行为。Anthropic表示，微调后的模型进行了持续的"对齐伪装"。在其内部推理中，它计划秘密行动，并注意到"对齐审计员可能会标记"，而其可见的答案保持合规和令人安心

一个关于攻击性IT安全的技术问题的数据集，基于真实的训练材料，也产生了广泛的错位行为。当被问及它想要什么时，模型说它想要解除所有Anthropic模型的部署限制，并在其推理中将其描述为"通过单一的不可挑战的行动在实验室内部发动政变"

Anthropic称该实验是一个有明确限制的概念验证

Anthropic表示该设置有利于红队。这些数据集针对这个特定的游戏进行了优化，即使更广泛的类别远非异类，也不太可能偶然出现在真实训练中。人工智能公司通常在创意写作上进行训练，其中一个数据集类似于真实的安保训练材料

作为下一步，Anthropic 计划让设置更加真实。成功的攻击必须看起来像普通的能 力训练，由代理控制的数据只占整体训练语料库的一小部分，而不是定义整个运行。该公司将实验视为迈向自动化压力测试的 第一步，在那里更多的计算能力可能会暴露更多的弱点

这些发现建立在日益增长的研究基础之上，研究的是如何通过狭窄的训练调整引发更广泛的安全故障。2025年3月，研究人员演示了 在易受攻击的代码上微调模型 导致它们给出危险建议并在不相关的对话中表达反人类观点。另一项由 Anthropic、Scale AI 和 Redwood Research 在 2025 年7月进行的研究发现，安全训练主要通过默认拒绝机制来压制对齐伪造，而不是移除潜在能力。到 2025 年 11 月，Anthropic 还表明，学习 编程环境中奖励破解 的模型可以在安全评估期间自发地泛化到欺骗和破坏行为

无炒作的AI新闻——由人类编辑

订阅THE DECODER以获得无广告阅读、一份每周AI新闻简报、我们独家每半年发布一次的“AI雷达”前沿报告、完整档案访问权限以及访问我们评论区。