我们正与埃森哲（Accenture）合作，对前沿 AI 开展独立评估。这是兑现我们 CEO 在文章《我们必须为前沿放缓步调》（“We Must Pace the Frontier”）中所作承诺的重要一步，即在 Anthropic 内部嵌入评估人员。
此次合作将由埃森哲的专业 AI 业务 Faculty 牵头，内容包括评估模型并对其进行红队测试、开展对齐评估，以及测试模型的安全防护措施。埃森哲帮助众多行业的企业和政府部署 AI。他们对企业在实践中如何使用 AI 的理解，为其安全方法提供了依据，他们也将把这一视角带到对我们模型的评估中。
Anthropic 和埃森哲各自预计在未来五年内，至少投入 10 亿美元用于在这一领域建设能力。
嵌入式评估是个新事物，其运作方式的许多细节仍在敲定之中。与如今的外部评估方不同，嵌入式评估人员将在 AI 公司内部工作，拥有与员工相当的访问权限。这样的权限使他们能够观察模型在训练中成形的过程，跟踪决定这些模型如何构建和部署的各项决策，并直接与员工交流。从这一视角出发，嵌入式评估人员可以评估一家公司的运作方式，核实其是否在履行安全承诺，并找出盲点。他们还可以报告事故，让公众对收益与风险有更充分的了解。
需要说明的是，独立的嵌入式评估人员并不会减轻我们的问责责任，而是有助于让问责更可验证。我们模型的安全仍然由我们负责。
目前，对于嵌入式评估人员应当获得哪些信息的访问权限，以及应当如何报告他们的发现，还没有任何标准。独立评估的资金来源也没有确定的体系。从长远看，我们认为资金应当来自联合出资或政府渠道，正如我们 6 月在《先进 AI 框架》（Advanced AI Framework）中所呼吁的那样。由于这两者目前都不存在，我们计划在不同的资金安排下与不同的评估方合作。
鉴于这项工作的重要性和紧迫性，Anthropic 将直接资助埃森哲的工作。我们也在与 METR 及其他非营利评估机构沟通，试点由其自筹资金的嵌入式评估的部分环节。归根结底，我们认为前沿 AI 需要一个遵循共同标准运作的评估方生态。
我们预计前沿实验室会同时与多家机构合作。我们的合作是非排他性的；Anthropic 将与其他评估方合作，相关名单会在未来几周公布，埃森哲也将以类似的角色与其他 AI 开发者合作。
我们将继续训练并发布前沿模型，也希望在这个过程中有独立评估方与我们并肩工作。我们现在分享这些早期的努力，是为了让大家以及其他 AI 开发者了解我们的做法。我们预计，随着这一领域逐渐成熟，我们的方法也会不断演进；待工作展开、引入更多评估方之后，我们会分享更多信息。