我们对 SWE-Bench Pro 的审计发现，相当一部分公开任务包含可能扭曲结果的问题。
一些正确的解决方案因隐藏要求、矛盾指令、过于严格的测试或不完整的评分标准而失败。https://t.co/s07aJbNks6
OpenAI 审计揭示 SWE-Bench Pro 基准测试存在缺陷，影响结果可靠性
了解 OpenAI 如何发现并分析 SWE-Bench Pro 基准测试中的系统性缺陷，以及这些缺陷对 AI 编码模型评估的影响。
OpenAISWE-Bench Pro基准测试AI评估
成长分 / 100
73
综合收获、行动、留存与影响
提供具体问题类型（隐藏要求、矛盾指令等），为改进测试设计提供参考。
- 相当一部分公开任务包含可能扭曲结果的问题。
- 正确解决方案可能因隐藏要求而失败。
- 矛盾指令会导致模型无法正确执行任务。
深入阅读
正文与原文对照
原文保真覆盖：全文原文字符：364