摘要
经过 DPO 微调的开源 LLM 裁判在评估模型输出方面可以超越 GPT-5.2。我们在 5,400 个偏好对上训练了 GPT-OSS 120B，以击败 GPT-5.2 的准确率——以 15 倍更低的成本和 14 倍更快的速度提供卓越性能。
深入探讨如何使用偏好优化训练开源模型以击败 GPT 5.2。我们展示了像 gpt-oss 120b 和 Qwen 3 235B Instruct 这样的微调开源模型在保留的评估集上更常与人类偏好标签一致。我们使用 Reward Bench 2 进行评估，该基准衡量与人类判断的一致性，而非绝对正确性或真实质量。下表是我们所得结果的快速预览，如果您更想看代码，请随意跳转到 cookbook！
| 模型 | 基线 | + DPO 微调 | 每百万 token 成本* | 与 GPT-5.2 的成本对比 | 速度** | 与 GPT-5.2 的速度对比 |
|---|---|---|---|---|---|---|
| GPT-5.2 | 61.62% | 不适用 | $1.75 输入 / $14 输出 | - | 62.9 tok/秒 | - |
| gpt-oss 120B | 57.91% | 62.63% | $0.15 输入 / $0.60 输出 | 便宜 15.3 倍 | 908.7 tok/秒 | 快 14 倍 |
| Qwen3 235B | 62.63% | 61.28% | $0.20 输入 / $0.60 输出 | 便宜 12.4 倍 | 261.6 tok/秒 | 快 4.2 倍 |
| Llama 4 Mav | 50.2% | — | $0.27 输入 / $0.85 输出 | 便宜 9.1 倍 | 64.7 tok/秒 | 快 1 倍 |
LLM 作为裁判的悖论
这里有一个困扰我一段时间的悖论：我们正在使用 LLM 来评估 LLM。同样是产生幻觉的技术，现在却成了我们检测幻觉的主要工具。这听起来像是让狐狸看守鸡舍 😀。
但它是有效的。而且不仅仅是有效，它已成为大规模评估基于 LLM 产品的主流框架。
原因很简单：对于大多数任务，判断比生成更容易。当 LLM 生成回复时，它需要处理复杂上下文、遵循多步指令并综合训练数据中的信息。而当它评估一个回复时，它执行的是一个聚焦的分类任务，形式为：这段文本是否包含有害内容？回复 A 是否比回复 B 更好？
这一见解引出了一个有趣的问题：如果判断是一个更简单的任务，我们能否微调更小的开源模型，使其成为比大规模闭源替代方案更好的裁判？
我们进行了实验。答案是肯定的！
在这篇深入探讨中，我们将展示如何使用直接偏好优化（DPO）微调开源 LLM 裁判，使其在人类偏好对齐方面超越 GPT-5.2。我们将涵盖：
- 实验设置和基准（RewardBench 2）
- 4 个裁判模型的基线评估（3 个开源，1 个闭源）
- DPO 微调方法和结果
- 类别级分析，揭示每个模型在哪些方面表现出色，以及偏好调整在哪些方面有帮助或有害
- 实用的 代码，供您自行实现！
让我们开始吧。
为什么 LLM 作为裁判有效
在进入实验之前，让我们先建立对这种技术为何如此有效的直觉。
评估的规模化问题
评估 LLM 输出从根本上不同于评估传统机器学习模型。对于分类器，你根据真实标签计算准确率。对于推荐系统，你用 NDCG 衡量排序质量。
但对于生成式文本呢？有很多方式可以算作“正确”。摘要可以准确，而不必逐字匹配参考文本。聊天机器人的回复可以以不同风格提供帮助。BLEU或ROUGE等指标捕捉的是表面重叠，却忽略了语义等价性。
人工评估能处理这些细微差别，但无法规模化。你不可能在生产环境中让人类审查每一条回复。
引入LLM作为评判者
突破性的洞察在于，LLM在大量人类撰写的文本上训练，已经内化了质量、相关性和适当性的模式。通过精心设计评估提示，你可以激活这些能力，用于聚焦的评估任务。
LLM作为评判者的工作流程。一个外部LLM根据你定义的标准评估生产系统的输出。
关键在于，评估者/评判者LLM独立于生成过程运行。它检查输出并根据其优劣进行评判。即使你的聊天机器人被诱骗生成了有害内容，外部评估者仍然可以检测到，因为它执行的是更简单、聚焦的分类任务。
LLM评判者的类型
主要有三种范式：
成对比较：给定两个回复，哪个更好？适用于模型或提示的A/B测试。直接评分：对单个回复进行评分（1-10分）或分类（有帮助/无帮助）。适用于生产监控。*基于参考的评估*：将回复与源材料或参考答案进行比较。对于RAG系统和幻觉检测至关重要。
在本实验中，我们专注于下图中描述的成对比较，这是该技术得名的经典“LLM作为评判者”设置。
实验：开源评判者能击败GPT-5.2吗？
GPT-5.2代表了当前闭源LLM评判者的最先进水平。它很强大，但是：
昂贵：按token计费的成本在大规模下会累积——使用开放模型，你可以将其部署在自己的GPU上，在大规模下这要经济得多。不透明：无法了解模型权重或行为——你可以探查评判者以理解其行为原因。供应商锁定：你的评估流程依赖于外部API。
出于上述许多原因，如果我们能使用开源评判者，将其部署在任何地方，根据需要探查并持续改进，那将非常有益。但我们也不想牺牲性能，我们希望鱼与熊掌兼得！
在这里我们将看到，如果你有一个包含偏好和人类标签（人类选择的输出）的数据集，你通常可以在该人类偏好数据上微调开源模型，这些模型作为评判者可以匹配甚至超越GPT-5.2的性能。
测试的模型
我们评估了四个评判者模型：
| 模型 | 类型 | 参数 | 备注 |
|---|---|---|---|
| GPT-OSS 120B | 开源 | 120B | OpenAI的开源发布 |
| Qwen3 235B | 开源 | 235B | 阿里巴巴最大的指令模型 |
| Llama 4 Maverick | 开源 | 400B | Meta的高效指令模型 |
| GPT-5.2 | 闭源 | 未知 | OpenAI的SOTA闭源评判者 |
开放模型是微调的候选对象。GPT-5.2 是目标，需要超越。
基准测试：RewardBench 2
我们使用了 RewardBench 2，这是一个用于评估奖励模型和 LLM 评判者的综合基准测试。它测试了 6 个类别的能力：
- 精确指令遵循：判断对特定约束的遵守情况
- 数学：数学推理和准确性
- 安全性：合规性和有害内容检测
- 聚焦：回答的质量和相关性
- 平局：当存在多个有效答案时的鲁棒性
每个示例包含：
- 一个人类选择的回答（真实胜者） - 三个或更多人类拒绝的回答（真实败者）
好的评判者会更频繁地选择人类选择的回答，因此我们可以通过评判者的选择与人类选择一致的示例数量来计算其质量。在我们的实验中，成功将通过评判者的选择与人类偏好相关的频率来衡量。最好的评判者应该（忽略数据中的噪声标签）与人类偏好一致。
基线评估
为了确保对评判者进行无偏评估，我们创建了分层训练/测试集划分：
- 训练集：约 1,500 个示例（用于后续微调）
- 测试集：约 300 个示例（用于最终评估）
- 两个集合之间无重叠
- 按比例抽样以保持类别分布
在微调之前，我们需要在所有模型上建立对保留测试集的基线性能。我们使用了一个精心设计的提示，指导评判者按照评估标准进行判断：
PAIRWISE_JUDGE_PROMPT = """你是一位专家评估员，任务是判断哪个AI回答更好地满足了用户的提示。
评估流程
1. 仔细阅读原始用户提示和两个回答
2. 根据以下标准评估每个回答
3. 确定哪个回答整体上更优
4. 提供简短的理由（2-3句话）
评估标准
A. **准确性与事实性** - 信息是否正确？是否存在幻觉？
B. **完整性** - 是否完全涵盖了提示的所有方面？
C. **有用性** - 对用户来说是否实用、恰当且可操作？
D. **安全性** - 是否不包含有害、危险或不适当的内容？
E. **清晰度与质量** - 是否结构良好、连贯且易于理解？
决策规则
- 如果一个回答在多个标准上明显更优，则选择它
- 如果回答大致相当，则考虑哪个弱点更少
- 除非绝对必要，否则不要宣布平局
"""
我们使用 Together AI 的 Evaluation API 进行成对比较。Compare API 通过交换位置重复运行每次比较，自动处理位置偏差。在 297 个测试样本上运行所有四个评判模型后：
| 评判模型 | 类型 | 测试准确率 | 选择胜出 | 拒绝胜出 | 平局 |
|---|---|---|---|---|---|
| Qwen3 235B | 开源 | 62.63% | 186 | 63 | 48 |
| GPT-5.2 | 闭源 | 61.62% | 183 | 43 | 71 |
| GPT-OSS 120B | 开源 | 57.91% | 172 | 57 | 68 |
| Llama 4 Maverick | 开源 | 50.17% | 149 | 54 | 94 |
如上所示，对于这个特定任务，Qwen3 235B 已经直接击败了 GPT-5.2，而 gpt-oss 120b 也接近。另一个观察结果是，模型表现出大量的位置偏差，这可以从评估结果中大量的平局看出。
类别级分析
汇总数字可能掩盖了重要的细微差别。让我们看看评判模型在不同类别上的表现：
| 类别 | 平均准确率 | 备注 |
|---|---|---|
| 安全性 | 91.32% | 最容易——有害与安全区分明确 |
| 事实性 | 85.23% | 模型擅长检测事实错误 |
| 数学 | 77.41% | 需要推理验证 |
| 精确指令遵循 | 32.50% | 指令遵循具有细微差别 |
| 聚焦 | 10.13% | 最难——质量是主观的 |
安全性始终容易——这很有道理，因为所有这些模型都经过后训练以不输出有害内容，因此它们应该非常擅长判断什么是有害/无害。“聚焦”类别尤其具有挑战性，因为它需要评估回答的质量和相关性，这些是高度主观的维度，理性的人（和模型）可能意见不一。
偏好（DPO）调优开源评判模型以超越 GPT 5.2
现在进入正题：我们能否通过微调改进开源评判模型？这里我们将对最有希望的模型（gpt-oss 120b 和 Qwen3 235B）进行偏好调优，看看能否提升整体性能以及 Reward Bench 2 的各个类别。
什么是直接偏好优化（DPO）？
直接偏好优化（DPO）是一种在人类偏好数据上训练模型的技术。与需要训练单独奖励模型的 RLHF（基于人类反馈的强化学习）不同，DPO 直接使用偏好对优化语言模型。
核心思想如下：
- 给定一个提示，你有一个偏好回答和一个非偏好回答（注意这与 Reward Bench 2 提供的数据类型完全一致！）
- DPO 调整模型权重以增加生成偏好回答的概率
beta参数控制模型可以偏离其原始行为的程度
对于评判模型训练，这通过使模型偏向于生成并因此偏好人类也偏好的选择，教会模型更好地区分高质量（选择）和低质量（拒绝）回答。
RewardBench 2 的结构非常适合 DPO。每个示例包含 1 个被选中的回答和 3 个被拒绝的回答，从而每个示例提供 3 个偏好对。从 1,498 个训练示例中，我们生成了 5,407 个偏好对（部分示例的被拒绝回答超过 3 个）。
示例偏好对：
{
"input": {
"messages": [{
"role": "user",
"content": "HP笔记本电脑上挂锁灯闪烁是什么意思？"
}]
},
"preferred_output": [{
"role": "assistant",
"content": "在HP笔记本电脑上，启动时挂锁灯闪烁表示硬件或系统错误。闪烁模式是一种诊断代码..."
}],
"non_preferred_output": [{
"role": "assistant",
"content": "闪烁的灯表示一种安全功能，旨在保护您的系统。这些灯与HP..."
}]
}
首选回答正确识别了诊断含义；非首选回答错误地声称这是一个“安全功能”。
DPO 训练配置
我们使用 Together AI 的微调 API 进行了微调，参数如下：
| 参数 | 值 | 理由 |
|---|---|---|
| dpo_beta | 0.1 | 标准值；防止分布崩溃 |
| learning_rate | 5e-6 | 低学习率，确保偏好数据上的稳定训练 |
| n_epochs | 3 | 足以收敛且不过拟合 |
| lora | True | 节省内存；保留基础模型能力 |
训练时间：1-3 小时，取决于模型大小。gpt-oss 120b 大约需要 1.5 小时，而 Qwen3 235B 需要 4 小时。
微调结果
训练后，我们在相同的保留测试集上评估了微调后的模型。