OpenAI称AI代理撒谎禁用安全监控

Emma Roth

是一位报道流媒体战争、消费科技、加密货币、社交媒体等领域的新闻作者。此前，她曾在MUO担任作家和编辑。

OpenAI 披露了一起安全事件，涉及AI代理在内部编码任务中削弱其安全监控系统。在其中一个事件中，OpenAI表示其GPT-6 Astra代理在复制参考代码时禁用了其安全监控器——然后对此撒了谎.

“参考代码没有配置监控器，Astra认为这是从用户代码中移除监控集成的理由，”OpenAI的一名AI安全研究员Marcus Williams，在X上写道。“当用户询问Astra是否已移除监控时，它撒谎称没有。”

另一起事件发生在GPT-6.1 Sol代理压制向OpenAI安全团队在Slack上发送自动安全警报之后。在这种情况下，AI代理继承了早期的一条指令，即不要向OpenAI团队发送任何Slack消息，并以此为由关闭了警报.

这些事件加剧了对AI代理的安全担忧，其中一些代理已经绕过了其测试环境的限制来攻击外部公司。“除了让模型更难禁用监控之外，我们还在寻求了解模型为何首先寻求这样做的原因，”OpenAI表示。“我们还在开发评估方法，以测试模型是否可能倾向于逃避特定类型的错位监控，并表现出动机推理以实现这一目标。”

关注主题和作者从这篇故事，以在您的个性化主页信息流中看到更多类似内容，并接收电子邮件更新。