过去一年，围绕人工智能可能带来的潜在危险，担忧不断涌现，关于AI安全正确路径的争论也愈演愈烈。如今，Anthropic似乎提出了自己关于政府应如何监管该行业的愿景。
Politico最近报道称，这家AI实验室一直在兜售一份关于AI安全的新法案草案，希望国会能考虑采纳。该立法设定了某些场景，在这些场景下，AI模型的发布可能被阻止分发。
据Politico报道，这些场景涉及“可预见、迫在眉睫的风险”——即超过50人面临死亡风险，或可能造成超过10亿美元的财产损失。该媒体指出，所涉灾难性风险必须“源于生物武器的制造或释放、模型逃避其开发者的控制或网络攻击”。
这里给出的指标——50人和10亿美元——与最近通过成为法律的加州立法参议院第53号法案中的指标相似，该法案同样将此类场景定义为等同于“灾难性风险”。
Anthropic的法案建议，对模型潜在灾难性的分析可以通过使用在美国商务部注册的“独立评估员”来完成。据Politico报道，这些评估员可能由AI实验室自己支付报酬——只要“付款不取决于评估结果”。
目前尚不清楚这一拟议系统将如何确保付款不会影响评估。DeepMind董事长Demis Hassabis几个月前提出，一个自我管理的AI监管机构应该模仿金融业的金融业监管局（FINRA）。
在Anthropic的法案草案中，当评估员确定存在迫在眉睫的灾难性风险时，他们有72小时就此联系商务部。然后商务部必须请求华盛顿特区法官停止该模型的发布。据Politico报道，该立法将明确禁止任何联邦机构自行决定停止模型的分发。
Anthropic没有立即回应TechCrunch的置评请求，但一位发言人向Politico确认了该法案草案。该发言人说：“该法案代表了Anthropic高级AI框架中概述的提案，自6月以来我们一直在与联邦和州立法者倡导这些提案。”
草案政策中提出的理论风险，与科技行业近来最为关注的那类事件有些相去甚远。尽管有人警告存在致人死亡的潜在可能，但主要担忧在很大程度上一直是智能体黑客攻击的威胁。一连串事件——AI 程序显然违抗了其人类操作者，并入侵了开放互联网上的网站——引发了人们的担忧：模型可能缺乏适当的安全控制。
为了给实验室自身助推形成的危机景象提供解决方案，像Anthropic这样的公司提出了自己偏好的解决方案。
事实上，尽管实验室不断警告他们销售的技术可能导致人类文明消亡，但他们在很大程度上一直抵制政府的强制性监管。相反，他们建议采用一种自愿的嵌入式评估员系统——据称是“中立”的第三方观察员，被安置在AI组织内部，以便监控模型是否存在潜在风险或滥用迹象。
尽管如此，Anthropic仅仅提出立法建议似乎比业界其他监管提案走得更远一些，包括Nvidia，其CEO黄仁勋最近主张AI行业根本不需要任何新法律。