核心结论
不要二选一。先运行 DeepSeek V4 Pro 0813,测试失败时再升级到 GPT-5.6 Sol。这种级联方式能解决 83.0% 的 DeepSWE 任务,每个任务成本 \$3.35。单独使用 Sol 能解决 72.7%,每个任务成本 \$8.37。准确率高出 10 个百分点,成本低 60%。
- Sol 赢在前几次尝试:pass@1 为 72.7%,对 62.8%,并且在 pass@2 仍保持领先(81.0% 对 78.5%)。
- Pro 赢在最后一次:pass@4 为 88.5%,对 85.8%。给四次机会,低成本模型能覆盖榜单上更多的任务。
- 价格差距是 35 倍:每次 rollout \$0.24,对 \$8.37。每花 \$100,Pro 能解决 261 个任务,Sol 只能解决 9 个。
- Sol 更快也更稳。每次 rollout 耗时 17 分钟、53 步,Pro 则是 35 分钟、146 步;四次全对的任务有 61 个,Pro 为 35 个。
- Sol 的失败更糟糕。其中 20% 会破坏原本已通过的测试,Pro 为 11%。对 Sol 的输出要用回归检查把关。
现已上线 · 美国托管
在 Together AI 上运行 DeepSeek-V4 Pro 0813
1.05M 上下文,支持函数调用和 JSON 模式,兼容 OpenAI 的 API,由美国基础设施提供服务。
查看该模型
在我们对 DeepSeek V4 Pro 0813 与 GPT-5.6 Sol 在 DeepSWE 上的对比中(DeepSWE 是一个跨多种任务类型和编程语言测试模型软件工程能力的基准测试),GPT-5.6 Sol 是榜单上单次尝试最强的工程师,而 DeepSeek V4 Pro 0813 的成本只有它的三十五分之一。有意思的问题不是谁在第一次尝试上更准确(显然是 Sol),而是这 35 倍的价格差究竟买到了什么,以及低成本模型的能力上限能否弥补这一差距。
DeepSWE · 正面对比
DeepSeek-V4 Pro 0813 与 GPT-5.6 Sol 一览
| 模型 | Pass@1 | 平均成本 | 每 $100 解决数 | 输出 token | 步数 |
|---|---|---|---|---|---|
| gpt-5.6-sol [max] | 72.7% ± 2.2% | $8.37 | 9 | 59k | 53 |
| deepseek-v4-pro-0813 [max] | 62.8% ± 3.1% | $0.24 | 260 | 101k | 146 |
我们基于已公布的逐次试验记录,让 DeepSeek V4 Pro 0813(max)与 GPT-5.6 Sol(max)在全部 113 个 DeepSWE 任务上各跑四次试验:共 904 次 rollout(每个模型 452 次)。Sol 是追求精度的旗舰,Pro 是性价比的异类。下文所有数字均来自本次运行,因此可能与其他公开的 DeepSeek V4 Pro 0813 对 GPT-5.6 Sol 的成绩单有所不同。

DeepSWE 成绩榜:pass@1 与 pass@k
单次尝试时 Sol 明显领先:pass@1 为 72.7%,Pro 为 62.8%(官方评分)。但随着每次重试,差距逐渐缩小,随后反转:两次尝试时 Pro 已很接近(78.5 对 81.0),四次尝试时 Pro 的 pass@4 为 88.5%,超过了 Sol 的 85.8%。低成本模型覆盖面更广;它需要不止一次尝试,但它的每次尝试几乎是免费的。如果你的工作负载允许运行 best-of-k,那么选择 Sol 在准确率上的理由基本就不存在了。

成本对比:DeepSeek V4 Pro 0813 与 GPT-5.6 Sol 的定价
每次 rollout \$0.24,DeepSeek V4 Pro 0813 比 Sol(\$8.37)便宜 35 倍,换成性价比来看,就是每 \$100 解决 260 个任务,而 Sol 只有 9 个。较低的价格买不到的是速度和简洁:Pro 的步数中位数为 146,耗时 35 分钟,输出 101k 个 token,而 Sol 只有精炼的 53 步、17 分钟和 59k 个 token。Sol 是又快又简洁的专家;Pro 则绕了远路才达到相近的覆盖率。如果有人在等结果,仅凭延迟,Sol 就配得上它的溢价;如果等待的是预算或队列,这里没有什么能与 Pro 相比。

覆盖率与可靠性:精度对广度
把 pass@1 分解为覆盖率和可靠性,分野一目了然。Sol 是精度一极:84.5% 的可靠性,以及 61 个四次全对的任务,这是一个“碰到就能做对”的模型的标志。DeepSeek V4 Pro 0813 则换到了另一条轴上:覆盖面更广(88.5% 对 85.8%),但可靠性低得多(71.0%),稳固的任务也更少(35 对 61)。这就是从侧面看到的 pass@4 交叉:Pro 触及的基准任务比 Sol 多,但每次触及后转化成功的频率更低。
失败模式:两者各是怎么出错的
两者的失败特征差异很大。Sol 在 20% 的失败中会破坏代码库现有的测试套件,这是 GPT 系列典型的回归特征。DeepSeek V4 Pro 0813 要保守得多,仅为 11%;它失败时通常是差一点,基线保持完好。因此,更便宜的模型同时也是更适合不经审查直接采纳的那个:在采纳 Sol 的 diff 之前,应该在它外面套上完整的回归检查,而 Pro 对这道防护的需求较小。

按任务类型看各自的优势
Sol 的质量优势很广:8 个领域中它赢下 6 个,领先最多的是数据建模与序列化,达到 92%(比 Pro 高 28 个百分点),此外还有查询/配置(80)、并发(72)、构建/运维(73)、程序分析(64)和协议一致性(59)。它没有拿下的两个领域差距很小:语言与运行时内部机制是 75 比 75 平手,而 DeepSeek V4 Pro 0813 在有状态响应式上略胜一筹(66 对 64),这是它唯一赢下的领域。凡是任务要求精准满足某种序列化契约的地方,Sol 都会拉开差距。

按编程语言对比 DeepSeek V4 Pro 0813 与 GPT-5.6 Sol
Sol 横扫五种语言中的四种(Python 74、Go 79、TypeScript 66、JavaScript 75),在 Python 和 Go 上优势尤其大。例外是 Rust,DeepSeek V4 Pro 0813 以 65 比 60 略微领先:这是 Sol 表现低于同级模型的唯一一种语言,也是 Pro 唯一完全胜出的一种。如果你的技术栈是 Python 或 Go,这个榜单就是 Sol 的,而且优势明显;如果是 Rust,Pro 稍好一点,而且便宜得多。

DeepSeek V4 Pro 0813 与 GPT-5.6 Sol 有多大差异?
差异中等。逐任务相关性为 0.54,是所有 DeepSeek-Pro 配对中最接近的。它们都能解决 90 个任务;只有 Pro 解决的有 10 个,只有 Sol 解决的有 7 个,两者都失败的有 6 个。两者的并集覆盖 113 个中的 107 个(94.7%)。有一处不对称对组合策略很重要:DeepSeek V4 Pro 0813 没有哪个任务是它四次全对而 Sol 完全没做出的,而 Sol 有两个任务四次全对、Pro 却始终没解决(pebble-durability-wait-apis、textual-kitty-key-phases)。所以 Pro 在 Sol 之上并没有增加多少新的覆盖面;它增加的是以极低成本完成共同任务的能力。

在两者之间做路由:组合策略
这正是级联方案获胜的原因。先运行 DeepSeek V4 Pro 0813,仅当你的测试套件拒绝其答案时再升级到 Sol:解决率 83.0%,每个任务成本 \$3.35。这比单独使用 Sol(72.7%)高出 10 个百分点,而每个任务的成本还不到 Sol 自身(\$8.37)的一半。近乎免费的第一阶段清掉了队列中的大部分任务,因此 Sol 的高价只需用在困难的剩余部分,而到达 Sol 的任务还额外得到了第二次独立尝试。该级联甚至胜过完美的单次预言机路由器(80.8%),因为两次独立尝试胜过一次完美的挑选。无论哪个模型打头阵,准确率都是一样的,但 Pro 优先要便宜得多(\$3.35 对 \$8.44),所以始终应该让低成本模型打头阵。

这意味着什么
当第一次尝试的正确性和延迟都很重要时,GPT-5.6 Sol 是单一模型的首选:最高的 pass@1、最高的可靠性、最快也最简洁,并赢下八个领域中的六个。为此你要付出 DeepSeek V4 Pro 0813 的 35 倍价格,而且必须防范它 20% 的回归率。DeepSeek V4 Pro 0813 是性价比和 best-of-k 的首选:覆盖面接近旗舰,四次尝试的上限更高,失败特征更干净,每次 rollout 只要 \$0.24。但这一对组合最锐利的用法,既不是单用其中一个,而是让 Pro 充当 Sol 的前端。一个能清掉大部分工作的低成本第一阶段,把 Sol 变成只在需要它的任务上才付的成本,并以不到 Sol 一半的价格买到超过旗舰的覆盖面。
现已上线 · 美国托管
在 Together AI 上运行 DeepSeek-V4 Pro 0813
1.05M 上下文,支持函数调用和 JSON 模式,兼容 OpenAI 的 API,由美国基础设施提供服务。
查看该模型
数据表:DeepSeek V4 Pro 0813 与 GPT-5.6 Sol 的完整结果
DeepSWE · 完整结果
| 指标 | deepseek-v4-pro-0813 [max] | gpt-5.6-sol [max] |
|---|---|---|
| pass@1(官方评分) | 62.8% | 72.7% |
| pass@1(错误计为失败) | 62.8% | 72.3% |
| pass@2 / pass@4 | 78.5 / 88.5% | 81.0 / 85.8% |
| 覆盖率 / 可靠性 | 88.5 / 71.0% | 85.8 / 84.5% |
| 稳固(4/4)/ 死角(0/4) | 35 / 13 | 61 / 16 |
| 每次 rollout 成本 / 总成本 | $0.24 / $109 | $8.37 / $3,783 |
| 每 $100 解决数 | 261 | 9 |
| 耗时中位数(分钟)/ 步数 | 35 / 146 | 17 / 53 |
| 峰值上下文中位数 / 输出 token | 232k / 101k | 177k / 59k |
| 失败构成(差一点 / 回归) | 66% / 11% | 54% / 20% |
| 领先的领域数(共 8 个) | 1(有状态响应式) | 6(1 个平手) |
| 领先的语言 | 1(Rust) | 4 |
| 基础设施错误 | 0 | 2 |
| 逐任务相关性 / 并集 | 0.54 / 113 个中的 107 个(94.7%) | |
| 预言机单次路由器 | 80.8% | |
| 级联 Pro 到 Sol(准确率 / 成本) | 83.0% / $3.35(单独使用 Sol 为 72.7% / $8.37) | |
常见问题
DeepSeek V4 Pro 0813 比 GPT-5.6 Sol 更好吗?
这取决于指标。GPT-5.6 Sol 在 DeepSWE 上的单次尝试质量更胜一筹(pass@1 为 72.7% 对 62.8%),四次全对的任务也更多(61 对 35),而且每次 rollout 快得多。DeepSeek V4 Pro 0813 在 pass@4 上胜出(88.5% 对 85.8%),而每次 rollout 的成本低 35 倍,因此对于高吞吐量或可容忍重试的智能体工作,它是性价比更高的选择。
DeepSeek V4 Pro 0813 比 GPT-5.6 Sol 便宜多少?
在我们的运行中,DeepSeek V4 Pro 0813 每次 rollout 成本为 \$0.24,而 GPT-5.6 Sol 在 max 强度下为 \$8.37,大约便宜 35 倍。按每个已解决任务衡量,Pro 每 \$100 解决 260 个,而 Sol 为 9 个,每美元完成的有效工作量约为 30 倍。
写代码方面,DeepSeek V4 Pro 0813 和 GPT-5.6 Sol 哪个更好?
GPT-5.6 Sol 在 Python(74)、Go(79)、TypeScript(66)和 JavaScript(75)上领先,并在 8 个任务领域中赢下 6 个,领先最多的是数据建模与序列化,达到 92%。DeepSeek V4 Pro 0813 拿下 Rust(65 对 60),并在有状态响应式上略占上风(66 对 64)。Sol 的每次 rollout 也更快;Pro 则通过多次尝试达到更广的覆盖面。
我应该在 DeepSeek V4 Pro 0813 和 GPT-5.6 Sol 之间做路由吗?
如果你能验证结果,就应该。先运行 DeepSeek V4 Pro 0813,在测试套件拒绝其输出时再升级到 GPT-5.6 Sol,可以达到 83.0% 的解决率,每个任务成本 \$3.35,优于单独使用 Sol(72.7%,\$8.37),也优于完美的单次预言机路由器(80.8%)。两者合计覆盖 113 个任务中的 107 个。
DeepSWE 上的 pass@k 是什么?
pass@k 衡量的是对某个任务的 k 次尝试中,是否至少有一次通过隐藏测试套件。pass@1 奖励一次就做对;k 越大,越奖励那些经过多次尝试最终能够找到解法的模型。随着 k 增大,DeepSeek V4 Pro 0813 的优势也在扩大。
