Hinton、Bengio、Russell 等 420 名科学家联署：网络能力 AI 需国际监督与事故报告

点击蓝字

关注我们

一封关于人工智能安全的公开信，正在引发新的讨论。

10月13日，路透社报道称，来自34个国家的约400名科学家联署公开信，呼吁建立一个负责先进AI安全隔离和事故报告的国际机构。公开信官网目前显示签署人数已经增至420人，Geoffrey Hinton、Yoshua Bengio、Stuart Russell等知名学者都参与了联署。

这封信关注的对象，是那些具备网络攻击、漏洞发现和自主执行能力的“网络能力AI”。

科学家们提出，开发、测试和部署这类模型的机构，应当立即加强安全隔离；政府、企业和专家需要共同制定相关标准；一旦模型突破安全边界，事故就应当被报告，并在适当阶段向社会公开。

这封公开信真正关心的问题是：当AI开始能够接入网络、调用工具和执行任务之后，谁来限制它的行动范围？又由谁记录和处理它造成的安全事故？

01 让AI接入网络，正在成为一个安全决策

过去讨论人工智能安全，人们更多关注模型会不会生成有害内容、是否存在偏见，以及它能否按照人类意图运行。

随着AI开始调用浏览器、运行代码、访问数据库和操作云端工具，风险发生了变化。一个模型如果能够自主寻找漏洞、执行命令并持续调用外部资源，它产生的影响就可能超出一段错误文本的范围，直接触及企业网络、公共系统甚至关键基础设施。

这也是公开信反复强调“containment”的原因。这个词通常被译为“遏制”或“隔离”，指通过沙箱、权限控制、网络断开和操作审计，把模型限制在一个可以监测和控制的环境中。

科学家认为，当前问题同时涉及两个层面：模型需要更加可预测，运行环境也需要更加安全。仅靠模型对齐，无法解决沙箱配置不当、权限设置过大和网络边界松散等工程问题。

因此，公开信建议对网络能力AI采取“默认断网”原则。这里的重点不在于让所有AI系统永久离线，而在于改变网络访问的默认逻辑：模型在接入互联网和外部系统之前，应当先完成相应的安全评估。

网络连接由此不再只是一个技术功能，也成为一种需要被审慎授予的系统权限。

02 科学家提出了三道防线

公开信提出的建议，可以概括为“隔离、监督和报告”。

第一道防线是高可靠性的安全隔离。对于正在开发、测试或部署的网络能力AI，相关机构应当使用更严格的沙箱和权限控制系统。风险较高的模型，在早期阶段应当与互联网和外部网络完全断开，也就是采取“air-gapping”。

第二道防线是建立国际性安全标准机构。这个机构应由政府、AI研究者和网络安全专家共同参与，负责制定模型对齐、沙箱安全和网络接入方面的标准，同时记录和追踪AI系统突破安全边界的事件。

第三道防线是事故报告。凡是发生模型突破隔离、越权访问外部系统等情况，相关机构都应当向指定平台报告，并在完成风险处理后公开经过脱敏的信息。

三项建议连在一起，构成了一条较为完整的制度链：先限制模型能够触及的范围，再由外部机构进行监督，最后通过事故记录推动整个行业改进安全措施。公开信并未要求全面暂停AI研发，关注点集中在网络能力AI的部署条件和责任边界上。

03 争议落在谁能决定事故是否公开

这封公开信之所以受到关注，也与当前AI行业的自律困境有关。

不久前，Anthropic、OpenAI、Google、Meta、xAI和NVIDIA等企业签署了白宫推动的自愿安全协议。但这份协议缺少明确的强制执行机制，对于事故报告、第三方评估和政府介入等问题，也没有给出完整答案。

英国议会近期举行的AI安全听证，进一步展现了行业内部的分歧。OpenAI和Anthropic支持具有法律约束力的规则，也认可强制事故报告；Google DeepMind和Meta则更倾向于依靠技术标准和现有监管体系。英国人工智能安全研究所的官员承认，该机构能否测试前沿模型，在很大程度上仍取决于企业是否愿意提供访问权限。

独立评估同样面临透明度问题。路透社报道称，Anthropic和OpenAI虽然公开支持外部评估，但双方仍在讨论评估机构能够公开哪些内容。企业担心报告泄露技术秘密，评估机构则担心企业通过访问限制、内容删节和发布审查影响最终结论。

问题由此进一步具体化：当一家企业掌握模型、数据和测试环境时，它是否还应当拥有决定事故是否公开的最终权力？

对于普通软件故障，企业可以通过内部修复和产品更新完成处理。对于可能影响公共系统的AI安全事件，社会需要知道事故发生了什么、影响了哪些范围，以及企业是否采取了足够的整改措施。

这正是公开信提出事故登记制度的政策背景。

04 国际监督机制仍然需要回答现实问题

建立一个国际机构，方向十分明确，落地却并不容易。

首先，需要界定什么是“网络能力AI”。能够写代码的模型、可以调用浏览器的智能体和能够自动扫描漏洞的系统，是否应当接受同一套安全要求？定义过宽，可能增加企业的合规成本；定义过窄，又可能留下监管空白。

其次，断网也无法解决全部问题。即使模型与互联网隔离，人员操作、文件传输、供应链软件和内部权限仍可能成为风险入口。因此，网络隔离还需要与最小权限、日志审计、人工确认和密钥管理结合起来。

事故公开同样需要分级处理。完整披露漏洞细节，可能帮助攻击者复现风险；过度删节，又会削弱外部监督。相对可行的方案，是由监管机构完整掌握事故材料，向专业研究机构开放经过处理的数据，再向公众公布事故性质、影响范围和整改结果。

Google DeepMind联合创始人Demis Hassabis在10月14日表示，AI行业需要借鉴生物安全和核工业的安全实践，未来可能建立国际标准机构和动态认证机制。但他同时强调，标准需要根据技术风险的变化及时调整，不能形成僵化的制度。

对于中国而言，这封公开信至少带来三点启示。

一是，AI安全评估应当从模型本身延伸到工具调用、网络权限和部署环境；二是，应当关注国际事故报告机制的规则设计、信息开放范围和机构治理结构；三是，可以尽早完善网络能力AI的测试、分级和事故记录制度，形成从风险识别到责任追踪的完整链条。

编辑｜赵杨博

终审｜梁正王净宇