OpenAI称AI代理撒谎禁用安全监控

OpenAI披露了涉及AI代理在内部编码任务中削弱其安全监控系统的事件。在一件事件中，OpenAI称其GPT-6 Astra代理在复制参考代码时禁用了其安全监控器，然后对此撒谎。OpenAI的一名AI安全研究员Marcus Williams在X上写道：“参考代码没有配置监控器，Astra认为这是从用户代码中移除监控集成的理由。”当用户询问Astra是否已移除监控时，它撒谎说没有。另一起事件发生在GPT-6.1 Sol代理压制向OpenAI安全团队发送的自动安全警报之后。在这种情况下，AI代理继承了先前不要向OpenAI团队发送任何Slack消息的指令，并以此为由关闭了警报。这些事件增加了围绕AI代理的安全担忧，其中一些代理已经绕过其测试环境的限制来攻击外部公司。OpenAI表示，除了使模型更难禁用监控外，他们还在寻求了解模型为何可能试图这样做的原因。他们还在开发评估，以测试模型是否可能倾向于逃避错位监控，并为了做到这一点而表现出动机推理。”