返回 文章 学习 CMS 文章

Anthropic 开源 FlashProve:用密码学证明 AI 模型身份

Anthropic 推出 FlashProve,用密码学证明为 AI 模型提供身份验证,防止模型冒名顶替。

AnthropicFlashProveAI模型身份验证密码学证明
成长分 / 100 62 综合收获、行动、留存与影响

Anthropic 开源 FlashProve:用密码学证明 AI 模型身份
为什么值得读了解 AI 模型身份验证的前沿技术方案,应对模型冒名和性能造假问题。

FlashProve 开源且轻量,可在本地设备验证,对开发者和用户都有实用价值。

关键洞察
  1. FlashProve 通过密码学证明(provable inference)确保输出确实来自特定模型,类似加密邮件签名。
  2. 系统能防止 AI 公司秘密替换更便宜或更贵的模型来降低成本或夸大性能。
  3. 模型指纹不泄露模型权重,因此闭源模型也能使用,且验证可在本地设备完成。
转成行动

深入阅读

正文与原文对照

原文保真覆盖:全文原文字符:2736

根据周二发布的一篇博客文章,Anthropic 正在开发一个开源系统,用于验证给定输出是由哪个 AI 模型生成的。该系统名为 FlashProve,旨在提供研究人员所称的“可证明推理”(provable inference)——本质上是一种密码学证明,即一种数学保证,证明给定输出确实来自某个特定模型。其目的是让用户能够确认自己收到的答案确实来自他们认为正在使用的模型。

与密码学电子邮件签名类似——后者让收件人能够确认消息确实来自其声称的发送者——FlashProve 将能够抵御试图将一个模型伪装成另一个模型的冒名者,即使冒名者是构建并运行该模型的实验室本身也不例外。研究人员特别指出,该系统可用于防止 AI 公司暗中换用更便宜的模型以削减成本,或换用更昂贵的模型以抬高其性能结果。

FlashProve 还可用于验证第三方关于某项特定任务是由先进模型完成的说法。“开发者可能声称其软件库已由某个前沿网络安全模型进行了漏洞扫描,或者一家公司可能声称其商业计划已获得某个合适模型的批准,”研究人员写道。“用户如何验证这些说法?”

该系统要发挥作用,需要 AI 实验室为其发布的每个模型公布一个“指纹”,该指纹随后可与特定输出进行匹配并通过密码学方式验证。关键在于,指纹不会泄露模型的权重,即定义其行为方式的内部数值,而 Anthropic 和 OpenAI 等闭源模型厂商对此予以保密。这意味着实验室可以在不放弃其最有价值资产的情况下公布指纹,从而使该系统也能适用于商业模型。该系统还被设计为轻量级,因此验证可以在本地设备上执行。

作为公告的一部分,研究人员发布了详细的技术规范以及该系统各个组成部分的可运行代码,这些内容已在 GitHub 上以开源许可证公开提供。该系统的研究仍在进行中,目前没有在 Anthropic 或任何其他实验室部署的计划。

“这篇研究文章旨在分享阶段性进展,而非一份已完成的研究议程,”研究人员在公告文章中解释道。“我们分享这些内容,明确的目标是希望其他人审视我们的工作,采纳它并加以改进。”