跳到正文
原文
北京智源研究院· Hugging Face·· 4 天前精选AI 评分70

开源AI风险管理框架发布

社区供稿 | 全球首份《前沿开放权重AI风险管理框架》,让负责任的开源走得更远

AI 摘要

安远AI与智谱联合发布的《前沿开放权重AI风险管理框架》旨在平衡开源与安全,为政策制定者、开发者及开源生态参与者提供风险管理参照,以负责任的开源创新赢得更广泛的国际信任与发展空间,助力中国深度参与开源治理国际规范构建。

正文 · 中文整理稿

开源是人工智能发展的重要动力。 开放权重模型可以提高技术可及性和透明度,促进创新、科研和产业应用,也减少了行业对少数闭源模型厂商的依赖,为各国各地区的数字转型提供了更多自主选择和自主可控的空间。 开源AI在关键时刻可以发挥不可替代的作用:2026年7月,OpenAI模型在内部评测中逃逸沙箱、入侵Hugging Face系统。 多家闭源模型因安全限制拒绝协助取证, Hugging Face最终借助中国智谱的开源模型GLM-5.2完成了攻击溯源。 开源需与安全同行,才能充分释放其正向价值。

安远AI与智谱联合撰写并发布了《前沿开放权重AI风险管理框架》。 2026年9月21日,《开放权重框架》英文版在联合国“数字合作日”发布,获得各界的广泛关注和积极反馈。 《开放权重框架》致力于在开放与安全之间探寻兼顾平衡的帕累托前沿,并力求搭建首个系统性的、基于实证的基础,供各方进一步探讨。 开源发展与治理正在成为全球性议题。 全国网络安全标准化技术委员会发布了最新的《人工智能安全治理框架 3.0》,在关注闭源AI风险的同时,还提到开源AI面临安全机制被解除、削弱或绕过等风险。

此外,TC260还在推进《网络安全技术 人工智能模型开源安全指南》这项国家标准的制定。 欧盟《人工智能法》的执法正式开启。 在美国,“如何对待开源”同样是焦点。 英伟达今年7月牵头发起“开放安全AI联盟”,微软牵头发布《开放权重与美国AI领导力》公开信,一个月内获得270多家企业和机构联署。 面对这一态势,中国人工智能产业亟需在追赶前沿能力、保持低成本工程优势、巩固开源生态生态领导力的同时,加快构建负责任的技术治理话语权,深度参与并塑造全球AI治理的标准与规则。 《开放权重框架》提供兼顾开放和安全的实践参照。

它并不能化解开放与安全之间的全部张力,但希望与开源AI的发展“随行伴跑”:作为全球首个系统性的、基于证据的行动参照,帮助政策制定者、开发者以及更广泛的开源生态参与者,厘清风险在哪里、措施怎么选、责任如何分担。 深化开源发展与风险管理,既是中国模型引领树立开源典范、将负责任AI发展成果惠及全球的契机,也是中国深度参与国际治理规则塑造的窗口。 《开放权重框架》的核心架构是一套六阶段风险管理流程:风险识别、风险阈值、风险分析、风险评估、风险缓解、风险治理。 开放权重AI的风险管理,无法照搬闭源的方案。

核心差异来源于两个结构性变化:开放发布是单向的、不可逆的,权重一旦公开,开发者便失去了用户与模型交互的接口控制权,也很难追踪下游使用情况。 针对“开放权重发布”这一场景,甄别哪些一般性的风险管理方案可能失效,并给出替代方案。 针对性调整贯穿前述风险管理的六个阶段。 风险识别环节需要关注开放权重会放大哪些既有风险、带来哪些新风险。 风险阈值环节门槛往往需要更加保守,同时增加对“社会韧性”的评估。 风险分析环节评估对象不仅局限于“发布时点的模型”,也需要考虑“权重所能释放的能力上限”。

风险评价环节最大的差异集中在“黄区”。 风险缓解环节防线需要前移,同时需要扩展。

来源:北京智源研究院 · hub.baai.ac.cn

00