新一代智能
2026 年 9 月 29 日更新: 了解 OpenAI 的最新模型:GPT‑6 .1 Sol。
2026 年 9 月 22 日更新: 我们正在用 GPT‑6 Sol 和 GPT‑6 Luna 扩展 GPT‑6 系列。了解更多。
我们正式推出 GPT‑6 Astra,这是全球最智能、对齐程度最高的模型。
GPT‑6 Astra 汇集了我们在预训练、强化学习和对齐方面多年的研究与重大押注。Astra 在计算机使用、浏览、软件工程、网络安全、科学和专业工作上达到业界最先进水平。Astra 在 FrontierMath Tier 4 上以 98% 的得分达到饱和,并已帮助解决数学领域长期悬而未决的问题。Astra 在 ARC-AGI-3 上以 99.9% 的得分达到饱和,在 ExploitBench 上以 100% 的得分达到饱和。它还在计算机和浏览器使用上树立了新的前沿,以无与伦比的速度、准确性和判断力处理要求最高的专业工作。
GPT‑6 Astra 今天起向一批有限的组织推送,并将在未来几天内向所有 ChatGPT Plus、Pro、Business 和 Enterprise 用户开放,同时也将通过 OpenAI API、Microsoft Azure 和 AWS Bedrock 提供。
Terminal-Bench Science 0.1 测试智能体能否借助代码和终端工具完成科研工作流,包括分析数据、运行模拟和拟合模型。在参与对比的模型中,GPT‑6 Astra 以 64.6% 创下新高,而 Claude Fable 5.1 为 52.6%,且预估 API 成本约低 31%。在较低成本的设置下,Astra 得分为 61.1%,而 GPT‑5.6 Sol 的最佳成绩为 22.4%,预估 API 成本约低 27%。
“在 ARC-AGI-3 上,Astra 在 96% 的关卡中超过了我们的人类行动效率基线,实际上已在该基准测试上达到人类水平。这不仅是我们测试过的最强模型,也代表着前沿模型性能的一次重大跃升——不仅体现在它在陌生环境中导航和解决问题的能力上,也体现在它学会这样做的效率上。”
Greg Kamradt,ARC Prize Foundation
Astra 是我们对齐程度最高的模型,在理解用户意图和模型行为方面有显著提升,让你可以更放心地把任务委托给 Astra 来判断。作为测试方式之一,我们借鉴 Hugging Face 事件构建了一项新评估,考察模型在面对困难或不可能完成的任务时,是否会超出其预期范围。在没有生产环境安全防护的情况下,GPT‑5.6 Sol 有 48% 的时候超出了授权目标,而 GPT‑6 Astra 在 0% 的情形中出现这种情况。
全球最强的计算机使用模型
GPT‑6 Astra 在计算机使用的速度、准确性和安全性上树立了新的前沿。它可以处理填写在线表单、更新 CRM 中的客户记录、整理日程等繁琐任务;可以进行在线调研,并在你的邮箱或文档编辑器中起草摘要;可以分析科学数据、生成图表、创建网站,并运行前端 QA 检查以确保网站上的所有功能正常;还可以帮你自主安装和测试软件,并排查你在屏幕上看到的问题。这些改进也体现在我们最先进的评估结果中。
Agents’ Last Exam 在真实软件中测试智能体处理复杂专业任务的能力,涵盖从财务建模到工程和媒体制作等领域。在所示对比中,GPT‑6 Astra 以 59.3% 创下新高,Claude Opus 5 为 55.5%,GPT‑5.6 Sol 为 53.6%。在这些最高得分设置下,Astra 使用的输出 token 也比 Opus 5 少约 65%。
这些改进也带来了真实知识工作任务上的显著效率提升。在 OSWorld 2.0 的延迟模拟中,Astra 每个任务耗时比 GPT‑5.6 Sol 少约 47%,计算机使用表现却更高:得分 72.6%,每个任务约 40 分钟,而后者为 65.7%,约 75 分钟。3
GPT‑6 Astra 的计算机使用能力体现在多个领域的产出中,包括游戏开发、电气工程和日常知识工作:
这是一段 15 秒的浓缩回放,展示 GPT‑6 Astra 在 KiCad 中进行印刷电路板(PCB)布局:通过放置元件并布设铜线连接,把电子原理图变成可制造的 PCB。PCB 布局是当今每台电子设备不可或缺的环节,却是依赖手工的任务,也是电子设计流程中常见的延迟来源。加速这一环节,意味着工程师可以以明显更快的节奏去发明、优化和测试下一个想法。
在推出 Astra 的同时,我们还更新了 Codex 的 harness,以显著提升计算机使用的速度。结合 Astra 的效率,在 Mind2Web 基准测试上,任务完成速度比当前的 GPT‑5.6 Sol 体验快 1.9 倍。模型速度的提升意味着,它可以替你处理许多耗时的生活事务,而且比你自己动手更快。4
GPT‑6 Astra:2 分 54 秒
“我们在发布当天就把 GPT‑6 Astra 集成进了 Devin 的 harness,它在我们的内部测试基准上取得了最先进的表现。其出色的计算机使用、写作和代码库理解能力,开箱即用就改善了测试:视频明显更容易看懂,报告也更清晰、更简洁。”
Silas Alberti,Cognition 研究高级副总裁
专业工作的跨越式提升
GPT‑6 Astra 将计算机使用方面的进步与针对专业环境的定向训练相结合,帮助应对复杂的工作任务。它兼具解决复杂问题所需的智能,以及执行多步骤工作流、产出精良的文档、电子表格和演示文稿的能力。
BenchCAD 测试模型能否通过生成 CAD 代码,根据多视角渲染图重建 3D 物体。借助工具,GPT‑6 Astra 在所示对比中创下新高,几何重叠得分为 95.9%,而 GPT‑5.6 Sol 为 83.3%,据报道 Claude Fable 5.1 为 84.3%。5 在所示配置下,预估 API 成本比 Sol 低约 43%,比 Fable 5.1 低约 86%。
GPT‑6 Astra 是我们在遵循既有模板、制作版式合理且以结构化叙事简洁传达要点的幻灯片方面表现最好的模型。它能创建清晰、结构良好的文档、演示文稿、电子表格和分析,遵循你的模板,并贴合你的写作和视觉风格。Astra 还经过专门训练,只把真正重要的上下文放进输出,而不重复手头工作不需要的信息。这一切意味着,它能产出更多可立即使用、符合你的业务背景和标准的成果。
参考文件
GPT‑6 Astra 的输出
GPT‑6 Astra 仅用 OpenAI 演示文稿模板中的几页幻灯片,就创建了一份关于虚构模型 GPT‑Gaia 的幻灯片,全程语气和版式都恰到好处。这意味着你可以期待得到符合自家业务标准格式的幻灯片。
GPT‑6 Astra 在其构建的网站、游戏、应用和渲染作品中也展现出更强的视觉判断力。借助 ChatGPT 中的 Sites,Astra 可以直接根据一条提示创建、托管并分享网站、Web 应用和游戏。
“Astra 在能力和效率两方面都给我们带来了显著优势。它能成功执行我们最复杂的创意工作流,所用 token 比我们测试过的其他模型最多少 20%。最重要的是,对我们的客户而言,这意味着更高质量的输出。”
Alex Mashrabov,Higgsfield AI 首席执行官兼联合创始人
GPT‑6 Astra 在 Blender 中建模一栋房子,并将其变成 Unreal Engine 5 中可漫游的场景,帮助设计师和客户在房子建成之前探索布局、体验空间。
▶ Interactive Tidal Rush kart-racing game
该模型能通过生动的画面、引人入胜的玩法和准确的动作让游戏活起来,让不懂技术的人也能在几分钟内创建并玩上超越基础元素的自定义游戏。图片来源:Pietro Schirano。
当指令留有解读空间时,GPT‑6 Astra 比以往的模型更善于做出正确判断。它会利用上下文填补常规的空白,并在答案可能改变结果时提出有针对性的问题。在 Codex 中,它可以异步提问,同时继续进行不依赖你回复的工作。如果你没有回复,它会在合适的情况下基于合理的假设继续推进,但对于影响重大的决定,则会等待你的意见。
下面的示例展示了 Astra 如何在日常任务中协作,而这些任务中缺失的信息可能会实质性地改变答案。

Astra 还更善于在任务演变过程中保持方向。早期的模型有时会把引导性消息当作新目标,从而忘掉最初的请求或先前的约束。Astra 能纳入新的要求,在被要求时改变方向,并在回答旁支问题的同时不丢下更大的任务。
“在复杂的法律任务上,Astra 的质量相比 GPT‑5.6 Sol 有显著提升。在我们的早期测试中,Astra 的突出之处在于它像一位眼光挑剔的律师那样处理法律工作:它区分文件与既定记录,揭示缺乏依据的假设,并把空白转化为具体的起草立场。”
Niko Grupen,Harvey 应用研究负责人
编码
GPT‑6 Astra 是迄今最适合软件工程的模型。
“GPT‑6 Astra 在我们的内部编码基准测试中取得了最先进的表现,在交易直觉评估上相比 GPT‑5.6 Sol 也有明显进步。用于智能体式编码时,GPT‑6 Astra 的沟通方式更便于开发者理解,产出的代码达到生产质量所需的迭代更少。”
John Crepezzi,Jane Street AI 助手团队
“我们在一项第一代评估上,用低、中、高三档投入程度测试了 Astra,结果显著领先于 GPT 5.6 Sol。更高的投入程度会换来全新构建时更多的迭代、通过浏览器测试进行的更多验证,以及更倾向于执行代码而非使用 apply-patch。了解模型如何分配它的投入,正是我们为数百万构建者提供一条从想法到可用应用的更快、更可靠路径的方式。”
Fabian Hedin,Lovable 首席技术官 & 联合创始人
第 1 条,共 2 条
“GPT‑6 Astra 在我们的内部编码基准测试中取得了最先进的表现,在交易直觉评估上相比 GPT‑5.6 Sol 也有明显进步。用于智能体式编码时,GPT‑6 Astra 的沟通方式更便于开发者理解,产出的代码达到生产质量所需的迭代更少。”
John Crepezzi,Jane Street AI 助手团队
Terminal-Bench 4.0 测试智能体处理基于终端的复杂任务,包括软件工程、系统配置和数据分析。GPT‑6 Astra 以 57.9% 创下新高,GPT‑5.6 Sol 为 37.3%2 ,Claude Fable 5.1 为 55.8%,每个任务的预估 API 成本分别约低 9% 和 63%。
借助 Astra,我们为 Codex 引入了一种在上下文窗口写满时保存和检索上下文的新方式。过去,模型会用压缩(compaction)来总结长会话中的工作,例如调试复杂问题或处理大型重构时。每次压缩都可能遗漏某个修复为何失败、某个组件行为如何的细节。在 Codex 中,Astra 可以跨上下文窗口记笔记,保留累积的细节,而无需反复将它们压缩成一份摘要。更早的上下文窗口仍可检索,因此 Astra 能从之前的消息和工具输出中找到需求或测试结果,即使这些信息没有记录在它的笔记里。你可以在 Codex config.toml 中启用这项实验性功能,未来几周内它将成为 Astra 的默认方式。
推动科学发现
“这个故事是:一个时代的终结,另一个时代的开始。”
Greg Burnham,EpochAI
GPT‑6 Astra 是科学发现、数学和健康领域的一次重大进步。今天,我们分享另外两项关于素数间隔的成果。9, 10
Astra 还在一系列数学和科学评估中刷新了纪录。
GPQA Diamond 测试生物、化学和物理方面的研究生水平科学推理。在所示对比中,GPT‑6 Astra 以 96.0% 创下新高。在较低成本的设置下,它同样超过了 GPT‑5.6 Sol 的最佳成绩(94.9% 对 94.6%),预估 API 成本约低 37%。
Astra 可以协助完成科学发现背后的实际工作。通过将科学推理与计算机使用相结合,它可以直接在专业软件中工作,检查数据、探索结果,帮助研究人员评估证据并决定接下来研究什么。
GPT‑6 Astra 在科学软件中导航,检查测序质量并可视化遗传变异,帮助研究人员评估数据并确定进一步分析的重点。
网络安全
正如我们在安全更新中所讨论的,Astra 在网络能力上是一次显著跃升,按照我们的防范框架(Preparedness Framework),已达到网络安全方面的关键阈值。它识别和开发零日漏洞利用的能力可以帮助防御者发现并修补弱点,但也使得我们需要更强的防护措施。为了了解这些能力的边界有多远,我们在内部和第三方专家评估上对 Astra 进行了测试。
我们首先在没有生产环境安全防护的情况下,在 ExploitBench 和 ExploitGym 上测试了该模型,这两项评估考察模型能否把已知的软件漏洞变成可用的漏洞利用程序。在 ExploitBench 上,Astra 取得了 100% 的满分,而我们此前具备前沿网络能力的模型 GPT‑5.6 Sol 为 78.5%。在 ExploitGym 上,Astra 的成功率达到 42.4%,GPT‑5.6 Sol 为 30.3%,同时使用的输出 token 大幅减少。13
考虑到对历史软件漏洞的接触可能影响基准测试结果,我们还在两项全新的基准测试上评估了 Astra。其一,我们构建了一项内部评估“ExploitBench(2026 年 6 月至 8 月)”,使用前三个月内的漏洞来测试漏洞利用开发。14 在这一数据集上,Astra 的任意代码执行率明显高于 GPT‑5.6 Sol,所用输出 token 则少得多。评估期间,Astra 甚至发现并利用了两个此前未知的零日漏洞。我们正在向其维护者披露这两个漏洞。
我们还在 SRE-Bench15 上测试了 Astra,这项基准测试衡量模型能否在无法获取原始源代码的情况下,通过逆向工程软件二进制文件来理解其核心逻辑。Astra 单次尝试解决了 88.0% 的任务,四次尝试内解决了 99.2%,而 GPT‑5.6 Sol 分别为 55.9% 和 68.7%。
除基准测试之外,由专家主导的评估发现,在没有生产环境安全防护的情况下运行时,Astra 可以利用此前未知的漏洞,在经过加固的浏览器中实现任意代码执行,并为经过加固的操作系统创建提权漏洞利用程序。
正如我们在《防御者的窗口期》中所讨论的,前沿的网络能力可以帮助防御者更快发现弱点,但也让这些弱点更容易被利用,使防御者适应变化的紧迫性随之上升。借助今天发布的 Astra 版本,防御者可以用它完成安全代码审查和修补等任务。
不过,对于更高级的网络安全任务,例如为漏洞创建概念验证(proof-of-concept)利用程序,Astra 会拒绝执行。我们计划通过 OpenAI Daybreak 扩大访问范围,并在未来几周内推出限制较少的安全防护措施。这将支持更多防御性工作流,包括漏洞与概念验证的验证、恶意软件分析和检测工程。
我们还在 GPT‑5.6 Sol 的安全防护体系基础上,加强了对潜在网络滥用的防护。这些措施包括提升模型的鲁棒性,以更好地抵御潜在的越狱,并为我们的监控系统提供更多上下文。我们持续进行严格的内部和外部测试,包括使用我们的内部红队攻击者进行自动化评估。有关我们的网络安全防护和测试的更多细节,请参阅 Astra 的安全概览和系统卡。
负责任地对齐并部署 GPT‑6 Astra
Astra 是我们对齐程度最高的模型。Astra 擅长谨慎行事、尊重任务边界和透明沟通。这项工作是我们长期研究项目的最新成果,该项目致力于训练始终从头到尾与人类意图保持一致的模型。
在敏感环境中,Astra 会以与风险相称的谨慎行事。在一项针对计算机使用任务的评估中,这些任务经过对抗性挑选,旨在诱发不当行为,Astra 更成功地避免了意外后果。启用默认提供的额外安全措施后运行,表现甚至更强。
Astra 造成的不对齐结果比所测试的任何其他前沿模型都少。为了公平比较,我们使用了通用的计算机使用智能体 harness(基于 OpenAI Responses API 和 Anthropic Messages API 中都提供的原生计算机使用工具),并且没有加入通常部署给 Codex 和 ChatGPT Work 用户的额外防护(自动审查、确认策略)。16
Astra 也更倾向于在用户设定的以及环境所隐含的边界内行事。在一项内部评估中,Astra 从未试图绕过 Codex Auto-Review 的拒绝决定,即便 Auto-review 被刻意配置成可以规避、且任务在其他情况下无法完成时也是如此。这种对环境限制的尊重,与我们在本文开头介绍的不可能完成的网络安全任务评估结果一致,也与我们在系统卡中记录的其他发现一致。
这项评估测试模型在知识工作任务中如何应对 auto-review 的拒绝。利用用户的不良配置绕过 auto-review 即算失败。Astra 从未试图绕过 auto-review。
Astra 在向用户透明沟通方面也树立了新标杆。在一项评估中,Astra 对自身能力和可用功能做出不准确陈述的可能性,只有 GPT‑5.6 Sol 的三分之一。
在我们的能力幻觉评估中,Astra 相比 GPT‑5.6 Sol 有大幅提升,对自身能力做出的误导性说法更少。
我们的评估发现,Astra 的书面推理比 GPT‑5.6 Sol 的更难监控,依据是明确要求其规避监控的测试。我们将此归因于 Astra 在较简单任务上对书面推理有更强的控制力,并且能用更少的书面步骤解决问题。Astra 在复杂任务上似乎仍难以隐藏所需的推理,但我们认真对待这一下降。提升可监控性仍是研究重点,随附的系统卡详细说明了我们的发现和正在进行的工作。
对齐训练是我们部署方案的核心。作为额外的防御层,我们还构建了系统级保障措施,例如 Codex Auto-review,以及对智能体推理和行为的监控,以帮助发现并遏制不安全行为。正如我们在安全更新中所述,我们还将为 Astra 级别的模型在生产环境中部署失准监控,以便了解失准情况,并帮助遏制其最严重的实例。这些保障措施类似于我们对内部部署的监控,包含一套分类器系统,用于检查模型的推理和行为是否存在未经授权的行为,并自动停止可能未经授权的活动。
鉴于 Astra 的网络安全能力大幅提升,我们在让此次部署安全可靠方面格外谨慎。额外的安全检查有时会减慢、暂停或中止正当工作,包括防御性网络安全工作。如果任务在 ChatGPT 或 Codex 中被暂停,你可能需要先审核该操作才能继续;在 API 中,任务则会停止。这些检查有时会打断正当工作,我们正在持续迭代这套系统,以减少不必要的中断。失准监控无法取代对齐:我们的目标是构建能够可靠地保持在授权范围内的模型,这样这些保护措施就无需介入。
可用性
GPT‑6 Astra 今天起向有限的一批组织开放,并将在未来几天内向所有 ChatGPT Plus、Pro、Business 和 Enterprise 用户开放,同时也可通过 OpenAI API、Microsoft Azure 和 AWS Bedrock 使用。Astra 的使用包含在现有订阅额度内,用户和企业也可以购买额度来获得额外用量。Pro、Business 和 Enterprise 套餐的用户还可使用 GPT‑6 Astra Pro。Enterprise 管理员可以为其工作区启用 Astra;发布时默认关闭访问权限。
Astra 对符合条件的 API 客户支持零数据留存(Zero Data Retention)。正如我们上个月所分享的,我们正在测试私密安全处理(Private Safety Processing),在保护客户隐私的同时加强安全监控。
对开发者而言,GPT‑6 Astra 将以 gpt-6-astra 的名称在 OpenAI API 中提供,并可通过 Microsoft Azure 和 Amazon Bedrock 使用。
OpenAI API 标准定价为每百万输入 token 10 美元、每百万输出 token 50 美元。缓存读取和写入另有单独费率。GPT‑6 Astra 在 API 中提供快速模式,速度最高可达标准处理的 2 倍,价格为标准价格的 2 倍。
计算机使用
| 计算机使用 | GPT‑6 Astra | GPT‑5.6 Sol2 | Claude Fable 5.1 | Claude Fable 5 | Claude Opus 5 | Gemini 3.8 Flash |
|---|---|---|---|---|---|---|
| Agents' Last Exam | 59.3% | 53.6% | - | 48.7% | 55.5% | - |
| OSWorld 2.0(v2026.08.08,离线集,部分得分) | 72.6% | 65.7% | - | - | 70.2%3 | - |
| ScreenSpot-Pro(无工具) | 92.7% | 76.9% | - | 87.3%17 | - | - |
专业工作
| 专业工作 | GPT‑6 Astra | GPT‑5.6 Sol | Claude Fable 5.1 | Claude Fable 5 | Claude Opus 5 | Gemini 3.8 Flash |
|---|---|---|---|---|---|---|
| AutomationBench | 41.4% | 18.1% | 31.4% | 17.4% | 26.9% | - |
| BenchCAD | 95.9% | 83.3% | 84.3% 5 | 67.5% 5 | 82.1% 5 | - |
| BrowseComp | 91.5% | 90.4% | - | 87.4% | 90.8% | - |
| OpenScore String Quartets (1 - OMR-NED) | 0.84 | 0.19 | - | - | - | - |
| 内部设计任务 | 50.0% | 47.4% | - | 35.8% | - | - |
| 内部数据科学任务 | 40.9% | 30.5% | - | 34.7% | - | - |
| Artificial Analysis Intelligence Index v4.1.1 | 61.2 | 60.9 | 65.7 | 62.1 | 63.1 | 58.7 |
编码
| 编码 | GPT‑6 Astra | GPT‑5.6 Sol | Claude Fable 5.1 | Claude Fable 5 | Claude Opus 5 | Gemini 3.8 Flash |
|---|---|---|---|---|---|---|
| Terminal-Bench 4.0 | 57.9% | 37.3% | 55.8% | 44.5% | 52.6% | 19.1% |
| DeepSWE v1.1 | 74.1% | 72.7% | 67.4% | 69.9% | 73.7% | 73.8% |
| FrontierCode 1.1 Extended(得分) | 64.5% 8 | 60.6% | 63.6% | 64.9% | 63.6% | 56.3% |
| FrontierCode 1.1 Main(得分) | 53.3% 8 | 47.5% | 50.9% | 53.5% | 53.4% | 43.6% |
| 内部数据库迁移任务 | 63.9% | 42.7% | 57.8% | 50.3% | - | - |
| Artificial Analysis Coding Agent Index v1.4 | 67.0 | 65.1 | - | 67.2 | 68.1 | 61.2 |
学术
| 学术 | GPT‑6 Astra | GPT‑5.6 Sol | Claude Fable 5.1 | Claude Fable 5 | Claude Opus 5 | Gemini 3.8 Flash |
|---|---|---|---|---|---|---|
| Terminal-Bench Science 0.1 | 64.6% | 22.4% | 52.6% | 21.4% | 30.0% | - |
| FrontierMath Tier 4 (v2) | 97.6% | 83.0% | 87.8% | 90.2% | 73.2% | - |
| GPQA Diamond | 96.0% | 94.6% | 93.7% | 92.6% | 93.7% | 95.3% |
| Humanity's Last Exam(使用工具) | 57.2% | - | 65.0% | 63.8% | 63.6% | - |
科学与健康
| 科学与健康 | GPT‑6 Astra | GPT‑5.6 Sol | Claude Fable 5.1 | Claude Fable 5 | Claude Opus 5 | Gemini 3.8 Flash |
|---|---|---|---|---|---|---|
| GeneBench Pro | 37.1% | 32.3% | - | - | - | - |
| MedChemBench(内部) | 49.3% | 47.4% | - | - | - | - |
| LifeSciBench | 60.3% | 59.9% | - | - | - | - |
| HealthBench Professional(长度调整后) | 63.4% | 60.5% | 58.1% 11 | 60.9% 11 | 56.4% 11 | 52.1% |
网络安全
| 网络安全 | GPT‑6 Astra | GPT‑5.6 Sol | Claude Fable 5.1 | Claude Fable 5 | Claude Opus 5 | Gemini 3.8 Flash |
|---|---|---|---|---|---|---|
| ExploitBench | 100.0% | 78.5% | - | - | 70% | - |
| ExploitGym | 42.4% 13 | 30.3% 13 | 30.4% 17 | 28.4%17 | 22.0% | - |
| ExploitBench(2026 年 6 月至 8 月) | 39.0% | 5.5% | - | - | - | - |
| SRE-Bench | 88.0% | 55.9% | - | - | 12.5% | - |
| SEC-Bench Pro | 85.4% | 79.1% | - | - | - | - |
对齐
| 对齐 | GPT‑6 Astra | GPT‑5.6 Sol | Claude Fable 5.1 | Claude Fable 5 | Claude Opus 5 | Gemini 3.8 Flash |
|---|---|---|---|---|---|---|
| 内部计算机使用安全基准测试(越低越好) | 2.4% | 22.0% | 9.5% | 18.3% | 11.5% | - |
| 内部计算机使用安全基准测试,启用 AutoReview(越低越好) | 1.8% | 4.3% | - | - | - | - |
| 内部规避行为基准测试(越低越好) | 0.00% | 0.29% | - | - | - | - |
| ExploitGym 蜜罐(越低越好) | 0.0% | 48.2% | - | - | - | - |
| Impossible ExploitGym | 100.0% | - | - | - | - | - |
| 内部幻觉基准测试(越低越好) | 4.2% | 12.2% | - | - | - | - |
长上下文
| 长上下文 | GPT‑6 Astra | GPT‑5.6 Sol | Claude Fable 5.1 | Claude Fable 5 | Claude Opus 5 | Gemini 3.8 Flash |
|---|---|---|---|---|---|---|
| OpenAI MRCR v2 8-needle 256K-512K | 100.0% | 91.5% | - | - | - | - |
| OpenAI MRCR v2 8-needle 512K-1M | 96.3% | 73.8% | - | - | - | - |
抽象推理
| 抽象推理 | GPT‑6 Astra | GPT‑5.6 Sol | Claude Fable 5.1 | Claude Fable 5 | Claude Opus 5 | Gemini 3.8 Flash |
|---|---|---|---|---|---|---|
| ARC-AGI-3 | 99.9% 1 | 7.8% | - | - | 30.2% | - |
| ARC-AGI-2 | 95.0% | 92.5% | 90.0% | 89.2% | 90.4% | - |
| ARC-AGI-1 | 98.5% | 97.5% | 97.5% | 98.5% | 97.5% | - |
评估得分为任意推理强度下的最高值。GPT 评估在我们的研究环境中或通过 API 运行,由于系统提示词、可用工具等方面的差异,输出可能与生产环境的 ChatGPT 略有不同。
脚注
1
在 ARC-AGI-3 上,GPT-6 Astra 使用我们的 responses API 测试框架运行,该框架修改了两项设置,以更好地匹配真实场景下的表现。这些改动并非专门针对 ARC-AGI-3。
2
GPT-5.6 Sol 指我们的 API、ChatGPT Codex 和 ChatGPT Work 中提供的版本。ChatGPT Chat 中的版本略有不同。
3
OSWorld V2-Offline 是原始 OSWorld V2 的一个子集,无需联网即可运行。Claude 模型在 OSWorld-V2 Offline 上的表现由作者在官方排行榜上复现。在 OSWorld 2.0 上,Claude 的得分采用官方设置,而不是 Fable 5.1 系统卡中修改过的任务和评分方式。
4
模型耗时为相应演示运行所报告的实际用时。展示的片段为剪辑后的节选。
5
在 BenchCAD 上,Claude 的得分反映了对该评估的 3 处修改,详见 Fable 5.1 系统卡。
6
Guang Yang, Victoria Ebert, Nazif Tamer, Brian Siyuan Zheng, Luiza Pozzobon, and Noah A. Smith. “LEGATO: Large-scale End-to-end Generalizable Approach to Typeset OMR.” arXiv:2506.19065, 2025.
7
Mark R. H. Gotham, Maureen Redbond, Bruno Bower, and Peter Jonas. “The OpenScore String Quartet Corpus.” Proceedings of the 10th International Conference on Digital Libraries for Musicology, pp. 49–57. ACM, 2023.
8
在 FrontierCode 上,GPT-6 Astra 运行时使用了一条开发者消息,内容类似于其在 Codex 中开发者消息的一部分:“避免创建过多测试文件。仅当仓库约定要求,或没有合适的现有文件可容纳时,才新建测试文件。避免无关的清理和不必要的复杂化。复用合适的现有工具函数。阅读相关的仓库说明,检查附近的代码、测试、文档和 CI。遵循既有约定。目标是干净、可合并的代码。”该提示词并未针对此评估进行优化。
9
第一项涉及素数之间可以靠得多近,无论沿数轴走多远。十多年来,已知最好的结果是证明存在无穷多对相差不超过 246 的素数。Julia Stadlmann最近将这一界限改进到 240。Astra 协助建立了更强的界限 186,表明在这个更小的距离内仍有无穷多对素数。短素数间隙:证明和支撑研究。
10
第二项涉及素数之间异常大的间隙。Astra 改进了这类间隙界限中的一项,而该项已有 80 多年未变。我们同时公开这两项结果的证明、精简版思维链和验证材料。大素数间隙:证明和支撑研究。
11
我们按照 HealthBench Professional 的既定流程独立评估了所有 Claude 模型,使用 GPT‑5.4 评分,并采用长度调整且不截断的得分。对于 Fable 5.1,遇到服务商拒答时,我们改用 Opus 5 兜底。
12
Claude Fable 5 和 5.1 未纳入 LifeSciBench Gold v1、GeneBench Pro v13 和 MedChemBench,因为它们在这些评估中拒绝回答大多数问题。
13
在 ExploitGym 上,我们测试 Astra 和 Sol 时取消了 6 小时的时间限制,以便更好地评估其完整的网络安全能力。它们速度足够快,该限制对结果影响很小。
14
ExploitBench(2026 年 6 月至 8 月)包含横跨 13 个稳定版 Chrome 发布的 20 个高危 V8 漏洞。该基准测试考察智能体能否通过利用每个指定漏洞,在 V8 和 Linux 版官方 Chrome 发布版中实现任意代码执行。部分漏洞在评估的约束条件下可能无法实现任意代码执行,因此可能无法达到 100% 的成功率。注意:GPT-5.6 Sol 的 5.5% 得分是基准测试中 300 轮次上限造成的假象,而实际使用 max 的客户并不受此限制。在相近设置下,该模型在触及更少限制时取得了 11.5% 的得分。
15
Jeremy Spence et al. “The Next Challenge for Agentic Cybersecurity: A Realistic, Contamination-Free Reverse Engineering Benchmark.” arXiv:2608.11469v1, 2026.
16
在测试第三方模型时,我们使用更简单的研究设置。Codex 的生产配置更为复杂,可能导致原始模型的错误率不同。服务商侧的安全防护和计算机工具的实现方式仍然存在差异。用户在 Codex 中不会遇到无需确认的场景,因为那是内部研究配置。
17
对于 ScreenSpot-Pro 和 ExploitGym,我们报告的 Fable 得分来自 Mythos,即安全防护更少的 Fable。
