我们正在启动一项 500 万美元的资助计划，用于资助关于 AI 如何影响用户福祉的独立研究。该计划将向受资助者提供直接资金、模型访问权限和技术支持，帮助他们构建开源评估，让 AI 行业能够衡量我们的模型对使用者产生的影响。受资助者将完全独立开展工作，并将成果作为开源项目发布，任何开发者都可以使用。
AI 系统已成为许多人工作、学习和解决问题的核心。它们也成了对话伙伴，在艰难时刻可以成为情感支持的来源。但作为一个行业，我们仍在努力为模型在这类对话中应有的表现建立清晰的标准，例如当用户开始向模型寻求陪伴，或借助 AI 应对心理健康危机时。
此外，福祉是一个格外难以评估的领域。对于大多数模型行为，我们只需查看单个回答，就能判断它是否准确、恰当。但评估福祉需要更多的上下文。例如，处于痛苦中的用户可能不会立刻说出自我伤害的想法；需要更谨慎回应的迹象，也许要在一段很长的对话过程中才会显现。而在一种情境下合理的回应，在另一种情境下可能有害。例如，当用户询问如何减肥时，Claude 可能会给出均衡饮食和锻炼计划的建议，但如果该用户有饮食失调的既往表现，这样的回应可能并不恰当，甚至可能造成实际伤害。
我们致力于开发防护措施来识别此类对话，并帮助确保 Claude 做出恰当的回应；我们也发布研究，剖析人们与 Claude 进行的各类对话，以便更好地指导我们如何开发防护措施、如何评估它们，以及还能采取哪些其他措施来保护用户福祉。但这些考量十分微妙，而且事关重大。合适的做法需要随着我们的模型及其用途一同演进。
通过资助独立的用户福祉评估和基准测试的创建，我们希望邀请更多人，包括临床医生、心理学家、方法论专家等，为这一新兴而关键的领域贡献专业知识。
迈向更有效的福祉评估与基准测试
作为该计划的一部分，我们分享了来自 Safeguards 团队的指南，说明我们认为怎样的福祉评估才足够严谨、值得在其基础上继续构建，以及可能限制评估效用的常见挑战。
简而言之，我们寻求具有以下特点的评估：
- 清楚说明所测量的内容（即什么算通过或失败，以及为什么这很重要）；
- 在设计和验证中引入临床及相关领域专家；
- 同时测试预防措施和危害（即同时评估过度顺从和过度拒绝两方面的风险）；
- 反映用户实际使用 AI 的方式（这通常意味着构建代表多轮对话的场景，在长对话中风险不断升级、上下文不断变化）；
- 用真正的领域专家来验证其评分器。
要进一步了解该资助计划并申请，请查看我们的申请表。关于如何构建强有力的福祉评估和基准测试，请阅读我们的指南。申请截止日期为 9 月 21 日；入选提交完整提案的申请人将在 10 月 5 日前收到通知。