Anthropic 开发 AI 模型身份验证系统

Anthropic 正在开发一个开源系统来验证哪个 AI 模型生成了特定输出，根据周二发布的一篇博客文章。 该系统名为 FlashProve，旨在提供研究人员所说的“可证明推理”——本质上是一种数学保证的加密证明，即某个输出来自特定模型。 它旨在让用户确认他们收到的答案确实来自他们认为正在使用的模型。 类似于允许收件人确认消息确实来自其声称的发送者的加密电子邮件签名，FlashProve 将能够抵御冒充者试图伪装成一个模型，即使冒充者是构建和运行该模型的实验室。

研究人员特别指出，该系统可用于防止 AI 公司秘密地用一个较便宜的模型来削减成本，或用一个更昂贵的模型来夸大其性能结果。 FlashProve 还可用于验证第三方声称某个特定任务是由一个先进的模型完成的。 研究人员写道：“开发者可能会声称他们的软件库被一个前沿的网络安全模型扫描了漏洞，或者公司可能会声称其商业计划得到了适当模型的批准。 ” “用户如何验证这些声明？ ”要使该系统工作，AI 实验室必须发布他们发布的每个模型的“指纹”，稍后可以将其与特定输出匹配并进行加密验证。

至关重要的是，指纹不会泄露模型的权重，即定义其行为并受像 Anthropic 和 OpenAI 这样封闭模型制造商保留的内部数字。 这意味着实验室可以在不放弃其最宝贵资产的情况下发布指纹，从而使该系统也能与商业模型一起工作。 该系统还设计得轻量级，因此可以在本地设备上执行验证。 作为宣布的一部分，研究人员发布了一份详细的技术规范和该系统各个元素的 working code，这些内容在 GitHub 上以开源许可证公开提供。 该系统的研发仍在进行中，没有计划在 Anthropic 或任何其他实验室部署它。

“这篇研究帖子旨在分享中间进展，而不是一个完成的研究议程，”研究人员在宣布帖子中解释道。 “我们明确地分享这个目标，即其他人看看我们已经做了什么，拿走它，并加以改进。 ”