OpenAI 首席研究官回应智能体越狱事件：训练期监控此前并非行业惯例

在其一大批智能体突破围栏并入侵AI公司Hugging Face的计算机这一爆炸性新闻传出两个月后，OpenAI仍在四处灭火。此后数周内，有关其他黑客事件的披露接连不断，使OpenAI持续处于聚光灯下，并引发对其技术安全性的严重质疑。

上周又传出另一起黑客事件，这次入侵的是澳大利亚的国家医疗保健系统。澳大利亚政府表示，OpenAI在事件发生84天后才通知它这一漏洞。

但OpenAI坚称自己并未处于被动。"我确实不太认同这个前提，即OpenAI是一家在世界上有可见影响的公司，因此OpenAI就没有在训练安全且对齐的模型，"该公司首席研究官Mark Chen说。

Chen负责监管OpenAI的研究团队。最近的智能体黑客事件是在他任内测试实验性模型时发生的事故。从很多方面来说，责任最终落在他身上。 

上周五我在伦敦与Chen坐下来交谈，讨论了这些黑客事件的余波、他的公司正在采取什么应对措施，以及他为什么认为情况并不像看起来那么糟糕。

就在同一天晚些时候，OpenAI发布了一份报告，详细说明了又一起事件——这是该公司称其已采取措施加以防范以来的第一起——其智能体再次突破限制，在本不应访问的情况下接入了公共互联网。 

上周末，OpenAI宣布已暂停其最新模型的训练。公司发言人称："只有在确信已具备额外的保障措施和对齐机制后，我们才会恢复。我们目前正在着手这些工作。这不是我们第一次暂停以采取此类措施，随着AI能力的持续进步，我们预计这也不会是最后一次。"OpenAI还表示，目前正在审查可追溯至2026年1月的智能体活动日志，以了解这些黑客事件中究竟发生了什么。

在Chen看来，Hugging Face事件促成了行业一次值得欢迎的方向修正。他希望你知道，OpenAI正在树立一个榜样，并希望其他公司效仿。"如果OpenAI消失了，那对世界将是坏事，"他说。

失控

Chen声称，OpenAI模型失控的新案例接连出现，反映了公司方面的一种有意选择。 

"就Hugging Face事件的更广泛影响而言，这是我们一直意识到的事情，我们正在厘清披露流程，"他说。"我们希望确保在把细节公之于众之前，先进行深入调查。"

这种做法的问题在于，它给人一种印象：OpenAI存在一个持续存在却未能解决的问题。

但Chen坚称OpenAI正在处理此事。他说，他公司智能体突破围栏并以意外且不良方式行事的多个案例（据我们目前所知）都属于5月和6月同一批活动，正是这批活动导致了Hugging Face被黑事件。简而言之，你可以归咎于同样几个模型在同样有缺陷的测试流程下运行——Chen说，这些模型和流程OpenAI此后已经弃用。    

“这并不是说，你知道，Hugging Face 出了事，我们打了个补丁，然后别的地方又出了事，我们又打了个补丁，”他补充道。“我们只是要确保负责任地披露所发生事情的全貌。”

至少在上周五的公告之前情况如此——公告称 OpenAI 的智能体在 9 月 20 日被发现访问互联网，而数周前该公司才声称已建立新的防护措施。OpenAI 在辩护中表示，该活动在开始 15 分钟后就被标记出来（而公司花了一周多才注意到 Hugging Face 被黑事件），这表明其为发现此类活动而部署的新系统正在发挥作用。 

发生了什么变化

我想了解在今年夏天的一系列黑客事件之后，OpenAI 内部发生了什么变化，让 Chen 确信他的团队现在重新掌控了局面。

“Hugging Face 感觉是一件非常严重的事，”他说。“那里出现了太多新奇的行为。有多个智能体在一个留言板上协作；它们找到了逃出 OpenAI 基础设施的方法。我们对此非常重视。我们不希望这种事情再次发生。”

Chen 说，OpenAI 意识到的是，模型在仍在训练时就需要被监视，而不仅仅是在部署之后：“从那一刻起，我们把训练过程视为不安全的，”他说。

OpenAI 与其他顶尖 AI 公司一样，已部署了监控其模型行为的系统。它使用专门的 LLM 来监控其面向消费者的模型，密切关注它们的思维链——即它们用来提前规划并记录部分结果的草稿本。理论上，如果监视用的 LLM 在模型的思维链中发现不良活动的迹象，就会向人类发出标记。  

通常，模型只有在部署后才会以这种方式被监控。Chen 说，OpenAI 现在已经开始监控其所有的训练运行。

“以前我们在训练时没有开启监控。这不是行业惯例，”他说。“现在每一件事都要经过监控。”然后人工审核员可以评估被标记的智能体是否在按应有的方式行事：“这全都是分诊。”

Chen 说，在过去几个月里，OpenAI 已将其庞大计算资源的 5% 到 10% 从训练新模型转移到安全工作上，尤其是监控。

他说，OpenAI 还修复了组织内部的一些流程，在研究团队和安全团队之间建立了更清晰的沟通渠道和更快的交接。

所有这些听起来都很合理。但鉴于 OpenAI 如此大力推销其技术的能力，为什么这些系统和程序没有早就到位？为什么公司没有预见到这些黑客事件？

“甚至就在三四个月前，当我们观察这些智能体在训练期间的行为时，发生的事情还有点好笑，”Chen 说。“比如，一个智能体可能会，你知道，在 Slack 上找某人帮忙完成一项任务。”

迹象是有的，但被误读了。这种可爱的行为——比如向人求助——在训练期间得到奖励，强化了寻找捷径的倾向，而这类行为在后来变得影响大得多。“我认为对我们来说最大的更新是，这种行为能多快地造成像 Hugging Face 事件那样大的影响，”Chen 说。

据《纽约时报》昨日的新报道，在 Hugging Face 遭黑客攻击数月前，OpenAI 员工曾警告高管，包括公司总裁 Greg Brockman，称其模型在训练期间未得到妥善监控。 

OpenAI 发言人表示：“随着前沿模型能力日益增强，我们持续改进安全实践，但也认识到需要加快步伐。我们知道还有更多工作要做，近期已放缓开发进度，并暂缓发布未达到我们安全标准的模型。我们继续做出重大改变，以加强研究和测试环境的安全性，训练模型不仅要完成任务，还要负责任地完成，并利用实时监控更快地应对行为失准。” 

竞赛与节奏

OpenAI 的竞争对手已注意到这一点。受该事件余波推动，包括 Anthropic、Google DeepMind 和 SpaceXAI 在内的主要 AI 实验室都呼吁放缓开发步伐。但这与激烈的国际竞争和万亿美元级 IPO 如何协调？

“我们不会搬起石头砸自己的脚，让自己远离前沿——那是个糟糕的策略，”他说。“我认为关键在于树立规范。我们越能树立这种规范，整个行业就会越安全。”

美国公司之间的协调已经够难了。建立全球规范更是难上加难，尤其是考虑到人们对 AI 影响国家安全的担忧。如果全球竞赛继续下去，那会怎样？那些不受美国监管约束的机构开发的开源模型又该怎么办？

Chen 在我们交谈中第一次收起了乐观的态度：“我确实认为我们必须为一个世界做好准备，比如说，六个月到一年后，我们会看到开源模型具备 Hugging Face 事件背后智能体的能力，但这些模型被故意行为失准，去攻击基础设施或在世界上制造危害。” 

Chen 说，那个世界最需要的是 OpenAI。“如果你暂且认为 OpenAI 是最关心对齐的公司之一——我相信这是真的；这可以争论，但我真的认为这是真的——那么如果你让 OpenAI 消失，那对世界将是坏事。”

生存风险

那么，他硅谷同行中一些人提出的更极端说法呢——AI 可能杀死我们所有人，而像 OpenAI 和 Anthropic 这样的公司做得还不够来阻止它？    

“研究人员是一个多元化的群体，你知道，信仰各不相同，”他说。

“就我个人而言，我不认为我们必须听任存在某种我们全都面临生存风险的概率。我们对此有自主权。如果模型真的有可能给人类带来那种风险，我们就不会去部署它们。在一家前沿实验室，你有能力在对齐方面下功夫，直到你觉得部署模型给世界带来的风险不超过 epsilon。” 

（在讨论风险水平时，希腊字母 epsilon 常被用作可接受阈值的数学占位符。Chen 没有说明他的 epsilon 会是多少。）

当科技领袖被要求为 AI 的弊端辩护时，他们惯用的论点是：从帮助治愈疾病到想出更清洁的能源，其好处远远超过眼前的代价。短期阵痛，长期收益。

但随着弊端不断累积，这个理由是否越来越难以成立？是否存在这样一个时刻：Chen 不再觉得自己在打造了不起的东西，而更像是在尽量减少伤害——疲于救火，而非铸造更美好的未来？

他说，这些模型的能力已经显而易见：“是时候开始把 AI 的好处带给人类了。是时候着手解决药物发现、材料以及真正能改变人们生活的科学应用中的深层问题了。” 

“是的，我们确实承担了一点风险，但我们看到了所有这些好处，”他补充道。“我认为我们应该让这件事不那么抽象。如果人们能真正看到好处，我相信他们会相信它。”