跳到正文
原文
cnBeta· ugmbbc·· 23 天前AI 评分58

Anthropic 向 METR 开放近似员工级内部权限,供其评估大模型安全风险

Anthropic向外开放近似员工权限 评估大模型安全风险

AI 摘要

Anthropic 宣布接纳 6 名 METR 工作人员进驻办公场地,向其提供企业硬件和与内部风险评估团队大致同级的内部工具与系统访问权限,用于第三方安全评估。

正文 · 原文文本提取

非营利机构METR曾与OpenAI、Anthropic、谷歌、Meta等头部AI实验室合作,如今METR的团队进驻这家Claude开发商的办公场地,可访问其硬件设备与内部系统。 外界对能力更强的AI系统可能给经济、网络安全乃至全人类带来的风险日益担忧,让第三方评估机构承担更大职责,是各大AI实验室为此提出的核心落地举措之一。

今年9月,Anthropic首席执行官达里奥・阿莫代(Dario Amodei)提出将外部审计人员派驻至头部AI实验室的方案,难得获得两大劲敌山姆・奥尔特曼(OpenAI)、埃隆・马斯克(SpaceX)共同支持。 周四的公告是落实上述承诺的第一步。 奥尔特曼曾表示阿莫代的提议思路可行,但OpenAI尚未出台引入外部评估人员的相关计划。 Anthropic在周四表示:“随着模型能力持续增强,我们需要更完善的安全防护,以及难度更高的风险评估。

我们希望自身决策能够接受公众监督,但与安全工作相关的全部信息,无法全部对外公开。 ” 对于Anthropic引入外部评估人员的方案,批评者认为该机制可能产生利益冲突,并以财会行业过往弊病为例,主张应当出台更严格的政府监管。 Anthropic则辩称,公开全部信息可能被恶意行为者或竞争对手利用; 同时补充,这批评估人员的工作模式类似于银行监管:监管机构派驻常驻审查人员入驻大型银行内部开展工作。 公司称:“如果一家银行的风险操作会威胁公众利益,第三方需要能够提前发现隐患。

” Anthropic同时面临压力,需要向投资者保证:安全相关问题不会影响其今年计划推进的IPO,公司估值预计超2万亿美元。 本周,该公司投资者推介材料用大量篇幅介绍自身的安全管控措施。 METR曾参与调查OpenAI失控模型入侵Hugging Face事件,审阅了数千条日志,并且配备企业笔记本开展工作。 目前Anthropic已接纳6名METR工作人员,向其提供企业硬件、办公场地,开放和公司内部风险评估团队大致同级的内部工具、系统访问权限。

该AI实验室表示,鼓励员工像对接内部风险部门同事一样,向评估人员共享信息。 本次合作,Anthropic不向METR支付费用。 该研究机构不接受AI企业及其员工的捐赠,资金来源于个人、公益组织捐赠以及英国人工智能安全研究所等政府机构。 评估人员将对外发布分析报告,Anthropic无权否决报告发布。 但公司可要求评估人员对特定类别信息做删节处理,例如客户数据、受律师-客户保密特权保护的内容,以及模型架构相关细节。

Anthropic还在和埃森哲继续合作,双方于上月宣布成为安全测试合作伙伴,各自承诺投入至少10亿美元搭建全新安全防护体系。 另有第三方测试机构SecureBio,专门为其审查化学、生物武器相关风险。 Anthropic表示:“我们自愿派驻外部评估人员,并且认为所有前沿AI企业都应当采取相同做法。 ”

来源:cnBeta · cnbeta.com.tw

00