EvalEval Coalition 很高兴地宣布，英国 AI 安全研究所（UK AI Security Institute，AISI）正在使用 EvalEval 的基础设施公开分享评估结果，以支持更可复现、更可验证的评估科学。
AISI 与 EvalEval 此前曾合作开展研究，该合作始于 NeurIPS 2025 期间的联合研讨会，研究所的反馈也帮助塑造了 Every Eval Ever（EEE）schema。合作的下一阶段，则是把这套共享基础设施投入实际应用。
为什么可复现的评估报告很重要
随着 AI 部署加速，评估正日益成为了解模型和系统表现的重要证据来源。然而，评估结果散见于各种格式、平台和渠道，往往缺乏足以复现它们的信息。而重新运行评估本身的成本可能高得令人望而却步。
EvalEval 的使命是通过一套共享的报告 schema——Every Eval Ever，以及一个开放平台——Evaluation Cards，来改善这一生态，把评估结果和解读这些结果所需的信息纳入统一的结构。
这自然延续了 AISI 此前的工作：通过 OptStop 让评估更高效，通过 HiBayES 让评估在统计上更严谨，并在转录分析（transcript analysis）和能力激发（capability elicitation）等领域推动评估更加标准化。AISI 与 EvalEval 正携手诊断评估报告中的缺口，并构建共享基础设施来弥补这些缺口。
AISI 分享了什么
转录层面的透明度不仅对可复现性很重要，对分析和诊断同样重要。在合作的这一新阶段，AISI 正在适当情况下，通过 Evaluation Cards 公开其对外报告的评估方法与发现。此次发布包含论文主实验所用的五个基准测试的已验证结果、背景信息和配置信息：
- HealthBench
- FrontierMath
- Humanity's Last Exam
- SWE-Bench Pro
- Terminal-Bench 2.0
这些结果涵盖六个前沿模型：Claude Opus 4、Claude Opus 4.5、Claude Opus 4.6、GPT-5、GPT-5.2 和 GPT-5.4。此次发布还包括两项相关网络安全评估——Cyber CTFs 和 The Last Ones——的结果，它们使用的是另一组与上述模型部分重叠的模型。这些数据配套 AISI 的论文 How Inference Compute Shapes Frontier LLM Evaluation，该论文研究基准测试表现如何取决于推理时算力和评估协议。
Humanity's Last Exam 上的表现会随评估协议和推理算力而变化。每条曲线显示在给定 token 数内已解决的尝试任务的累计占比，每个任务取最早观察到的成功。当模型在每次尝试后获得来自 oracle 的正确性反馈时，随着 token 用量增加，它们能继续解决更多任务。
当结果连同设置信息一起公开发布时，研究者和从业者可以更仔细地审视单项研究，并在更广泛的生态中对比各项发现。在其他报告缺乏这些细节的情况下，像 AISI 这样的发布提供了经过验证的参照点，帮助人们结合背景解读评估——例如，帮助研究者理解设置上的选择会如何影响所报告的表现。随着更多评估方采用 EEE，这类公开对比可以支撑更广泛、更可靠的元研究。
AISI 的 Terminal-Bench 2.0 结果，与同一批模型在不同评估设置下的其他已报告评估并列对比。
我们对这一采用感到振奋，期待与 AISI 及其他 AI 评估机构进一步推进评估的标准化与共享。
参与这一共同使命
- 模型开发者：报告经过验证的评估结果。
- 评估开发者：使用 Every Eval Ever schema 报告基准测试和运行数据。
- 评估、治理和政策研究者：按基准测试或模型浏览 Evaluation Cards，或借助它考察评估报告的整体现状。
关于 EvalEval Coalition
EvalEval Coalition 是一个研究社区，致力于为评估生态发展有科学依据的研究和稳健的部署基础设施。其目标是改进评估科学，解决在记录评估适用性和效用方面缺乏共识的问题，并扩大对科学研究和政策分析而言重要的影响的覆盖范围。
该联盟的旗舰项目包括 Every Eval Ever（一套用于评估结果的共享 schema 和存储库）和 Evaluation Cards（将基准测试元数据、评估运行数据和模型元数据整合为可解读的记录）。二者结合，使人们更容易看清：看似相近的分数，其实可能是在截然不同的条件下得出的。
关于英国 AI 安全研究所
英国 AI 安全研究所（UK AI Security Institute）是英国政府科学、创新与技术部下属的研究机构。其使命是帮助各国政府科学地认识先进 AI 带来的风险。AISI 开展研究并构建基础设施，以了解先进 AI 的能力和影响、开发并测试缓解措施，并为政策提供参考。