跳到正文
原文
AIbase· AI Base·· 15 小时前精选AI 评分70

OpenAI 上线 35 秒熔断机制

给失控 AI 智能体装"急刹车":OpenAI 35 秒熔断机制上线

AI 摘要

OpenAI 在 11 月 10 日上线名为"控制室"的系统,用于主动阻断有风险的 AI 任务,最快能在 35 秒内叫停失控智能体,该系统通过中央服务评估任务风险,研究员需申领任务 ID 并经系统授权,一旦喊停即拒绝推理请求

正文 · 中文整理稿

AI 智能体一旦跑偏,人类还能不能拉得住缰绳?OpenAI 在 11 月 10 日给出了一道新保险——名为"控制室"的系统已在内部研究设施上线,专门用来掐断有风险的 AI 任务,最快能在 35 秒内叫停一只失控的智能体。 传统监控只会给可疑行为贴标签,而控制室走的是主动阻断路线。它把智能体训练、评估和数据处理等任务负载接入中央服务,由系统拍板某项任务能否继续吐出内容。研究员启动任务前,必须向控制室申领唯一任务 ID,这个身份标识会跟随每一次发给推理引擎的请求;引擎在跑之前得先问控制室:"这活儿能不能干?" 一旦研究员或监控系统喊停,控制室就会拒绝下一次推理请求,让引擎不再为该项任务输出任何模型结果。危险动作不是被记录,而是被当场切断。 35 秒延迟,目标归零 OpenAI 透露,从收到停止指令到彻底拦下任务,最长耗时 35 秒。这道时差来自推理授权请求的缓存层,公司正设法把它压到零。与此同时,所有前沿强化学习任务都配了独立的模型监控器,负责盯行为、发现问题就拉响警报。 让 AI 自己看着 AI 跑、再设一道人工可触发的急停开关,OpenAI 这套组合拳,折射出行业对"失控智能体"风险的警惕正从纸面预案走向工程落地。

image.png

来源:AIbase · aibase.com

00