隆重推出 Clef：我们的开源决策模型，以及全新的强化学习微调平台
过去几周，围绕决策模型（例如 Typesafe AI 的 Jev System One 模型）的讨论热度很高。虽然分类器模型已经存在一段时间，但 Jev 将一种新的决策模型概念引入 AI 领域——这种模型能够以低成本、快速且一致的方式生成有界结构化输出，并可在需要做出决策时接入工作流。这些模型足够强大，能够处理任意输入集合，而无需不断重新训练模型来纳入新的分类类别。这与大语言模型（LLM）的世界形成对比：LLM 在很大程度上是非确定性的，但足够开放，能够进行推理，并为智能体工作负载生成文本和工具调用。
今天，我们发布两个由 Cloudflare 训练的决策模型：Clef 和 Clef-flash，托管在 Workers AI 上。在
Jev Decision Index上查看完整结果。这些模型更智能、更快速，并且完全兼容 Jev API，因此你可以轻松试用这些托管模型。我们正在完全开源这些
实时基准演示站点，采用 Apache 2.0 许可证，供你在本地运行并自行实验。
Hugging Face 上的模型
最后，我们很高兴首次推出全新的强化学习（RL）产品，它允许客户对 Clef 进行微调，以适配自己的用例。
什么是决策模型？
决策模型会基于某些概率进行分类，帮助智能体决定如何行动。例如，你可以传入一条客户支持消息（输入），并询问它是否紧急，以及应由哪个团队处理。决策模型将返回带概率的类型化答案（输出），你的代码可以用它来路由工单、触发升级，或转交人工处理。这意味着，对于智能体决策而言，不再一定需要人工介入——智能体可以通过程序收集上下文、做出决策，并对任务采取行动，或在需要时转交人工处理。
具体到 Cloudflare，我们一直在我们的威胁情报团队上测试我们新的 Clef 模型，以帮助我们分类网站域名。通过将域名交给 Clef（配合 Browser Run），它可以快速识别该域名所属的类别——例如，它可能以 95% 的概率将该域名分类为时尚网站，85% 为电商，<1% 为钓鱼网站等。这次分类让我们的 Clef 模型花费了 2.2 秒来获取、渲染并分类该网站。相比之下，我们最快的通用 LLM gpt-oss-120b 在同一工作流中花费了 4.7 秒，并且只返回了两个分类。作为用户，你可以想象延迟和结果上 2 倍的节省如何帮助我们改进威胁情报工作流，并更快地识别恶意或合法域名。将其推广到任何你需要快速做出程序化决策的用例，你就能解锁能够自主决策、推理和执行的强大智能体工作流。
在音乐理论中，谱号（clef）是放置在乐谱开头的一个符号，为线和间指定具体的音高名称。决策模型类似于音乐谱号，因为它有助于定义上下文的域以及随后的音符（动作）。我们将我们的决策模型系列命名为 Clef，因为它服务于类似的目的，而 CF 则呼应 Cloudflare。
Clef 与其他决策模型有何不同？
尽管市场上决策模型日益饱和，但 Clef 具有一些独特的特性，让我们对将其公开发布感到兴奋。首先，它有一个视觉编码器，因此能够接收图像并对视觉内容进行分类。这与 Jev 不同，后者目前只做文本分类。其次，我们的模型有 64k 上下文窗口（相比 Jev 的 32k），允许用户塞入更多输入状态供模型进行分类。
第三，我们的模型准确且强大，在各种质量基准测试中与市场上的其他决策模型相比具有竞争力。我们在下面列出了一些对决策很重要的评估，这些评估由 Jev Decision Index 定义，并对市场上一些更流行的模型进行了评分。查看下面的表格了解基准测试，或查看我们的
实时决策指数演示站点上的分数：
| |||||
BFCL · case exact | 98.47 | | 95.75 | 96.52 | 94.51 | 38.13 |
ToolRet · nDCG@10 | | 66.43 | 65.28 | 61.21 | 64.26 | 12.69 |
API-Bank · accuracy | 91.93 | | 88.19 | 83.66 | 56.30 | 11.41 |
Home appliances · case exact | 82.95 | | 52.27 | 42.05 | 25.00 | 0.00 |
When2Call · accuracy | 72.37 | 65.58 | | 75.44 | 49.62 | 11.94 |
BANKING77 · macro-F1 | | 90.93 | 79.74 | 74.28 | 84.83 | 14.29 |
CLINC150+OOS · macro-F1 | | 66.77 | 89.27 | 83.49 | 79.03 | 3.19 |
BRIGHT · nDCG@10 | 45.91 | 39.26 | | 42.94 | 38.53 | 19.90 |
Amazon ESCI · macro-F1 | | 57.39 | 55.21 | 53.37 | 49.22 | 24.40 |
PhishNChips · accuracy | 79.60 | 75.05 | 62.55 | | 50.75 | 50.15 |
我们还在 Typesafe 自己的评估套件 上运行了基准测试，我们的 Clef 模型表现良好，在 4 个领域中的 3 个击败了 Jev。值得注意的是，考虑到 Clef-flash 快得多，它的表现异常出色。
| |||
Invoice processing | | 57.1 | 61.8 |
Customer service | 76.3 | | 76.0 |
Security incidents | | 61.7 | 61.7 |
Agent 轨迹可观测性 | 68.5 | 69.8 |
在我们运行的 43 项评估基准中，我们的 Clef 模型在延迟上优于决策模型（Laya 除外，它非常快，但在上述基准中牺牲了质量）：
| |||||
中位延迟 · 毫秒 | 209.3 | 38.8 | 524.1 | 84.4 | 51.4 |
p95 延迟 · 毫秒 | 238.6 | | 536.0 | 211.2 | 187.9 | 222.5 |
除了模型本身带来的延迟优势外，我们的 Clef 模型托管在 Workers AI 上。由于它们托管在 Cloudflare 的基础设施上，我们能够利用边缘的 GPU，从而实现低网络延迟和更快的决策。这意味着你可以将 Clef 放入智能体的热路径中进行决策，并结合我们在 Workers AI 上的某个 LLM 来采取行动。
curl https://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/ai/run/@cf/cloudflare/clef \\
-X POST \\
-H "Authorization: Bearer $CLOUDFLARE_AUTH_TOKEN" \\
-d '{
"model": "clef",
"state": "Checkout has been failing for every customer for the last hour.",
"questions": {
"urgent": { "type": "noul", "instructions": "Is this support request urgent?" },
"team": {
"type": "choice",
"instructions": "Which team should handle this request?",
"criteria": {
"billing": "Payments, invoices, and refunds",
"technical": "Outages, errors, and configuration",
"sales": "Plans and upgrades"
}
},
"severity": {
"type": "score",
"instructions": "How severe is the customer impact?",
"criteria": ["No impact", "Minor", "Major", "Critical"]
}
}
}'
Clef 同样能生成与 Jev 类似的严格类型化输出，并且完全兼容 API，因此你可以极其轻松地完成替换。较大的 Clef 模型是更强大的精确模型，而 Clef-Flash 模型则非常适合对延迟敏感的关键决策。这些模型已为企业级应用做好准备，我们保证不会读取、存储或使用你的请求或响应进行训练（除非你希望使用我们的微调产品，我们将在下文详细介绍）。你可以从今天开始使用 Clef 模型，首先请查阅我们的开发者文档，或者直接在 Hugging Face 仓库中试用
__开源模型。__如果你希望针对特定工作负载对 Clef 进行调优，我们还提供微调服务——首先由我们的前沿部署工程师（FDE）团队作为实践合作伙伴提供支持，之后将推出自助式微调平台，供客户训练模型并将其重新部署到 Cloudflare 上。
我们如何训练 Clef
在 Jev 发布的同一周，我们发布了一些实验，内容涉及我们自研的决策模型。我们的演示详细介绍了如何通过暴露大语言模型生成的 logprobs，来改造 DiffusionGemma 模型以输出确定性概率。我们最初的方法建立在
的独立研究之上，他一直在机器学习（ML）社区中积极分享新想法，并
Matt Mastracci为推理引擎提交拉取请求，使 DiffusionGemma 支持更强大。
__向 vLLM 提交的拉取请求__Clef 基于这一概念构建，但使用了不同的基础模型作为骨干。我们目前使用 Qwen 作为基础模型，并对其进行了后训练，以适应决策模型的使用场景。在推理过程中，Clef 使用 Qwen 进行仅预填充的传递，然后并行地对有效的模式选项进行评分。决策步骤是非自回归的，因此无需逐令牌生成中间文本，这使得 Clef 比自回归 LLM 显著更快。Clef 和 Clef-flash 不是通过生成中间文本来产生结构化答案，而是直接从内部骨干表示中推导出模式选项。这种方法依赖于一种专门的两阶段注意力路由过程：每个有效选项都会提取与提示相关的上下文，使得各个字段参数在评分之前能够与其他字段以及原始负载进行交叉注意力。通过利用词汇先验，模型在选项之间保留了语义意图。最终，该架构将选项特定的证据路由、联合跨字段注意力和模式绑定评分统一起来。
通过冻结用于 Clef 的 Qwen3.8-27B 和用于 Clef-flash 的 Qwen3.5-9B，我们联合优化了路由头以及秩为 256 的低秩适配器。我们的后训练利用标签平滑交叉熵来处理有效的模式输出，并结合 Brier 损失来优化概率校准。这种训练利用了我们内部的合成数据集，这些数据集对字段顺序、提示和模式结构进行了排列组合。我们还开发了用于校准决策的强化学习（RLCD）作为次要优化目标，为相邻的序数选择给予部分分数，奖励完全精确的记录输出，并施加参考惩罚以防止分布偏移，从而为我们带来更好的准确性和泛化能力。
这意味着我们能够通过 Clef 实现一些新颖的功能：我们提高了模型分类的准确性，将其限制为仅输出概率而非生成文本，并使其比 Jev 和基础 Qwen 模型更快。
微调如何扩展 Clef 的能力
我们听到了许多内部用例，需要微调我们的 Clef 模型以将其构建到 Cloudflare 的代理工作流中。例如，内部团队希望分类器模型能够评估信任与安全提交，帮助我们分类 Cloudflare 支持请求，甚至内置到我们的 Bot 产品中，以判断爬虫是好的机器人还是坏的机器人。
这些用例非常具体，我们有多年标记的决策可以用来训练特定的分类器。当你微调模型时，你可能会放弃一些通用性能，以换取特定领域更高的准确性。由于 Cloudflare 拥有超过 15 年跨不同领域的网络数据，我们可以微调模型以适应这些特定用例，这比我们的通用 Clef 模型更准确、更快速。我们已经在与内部团队合作，弄清楚如何对 Clef 进行后训练，以创建强大的机器学习模型，从而提升我们的影响力并改善 Cloudflare 的工作流程。这些内部团队和用例是我们新的 FDE 微调团队的下一个职责范围，也是我们强化学习（RL）产品的基础。
我们的新 RL 服务
我们提供一项服务，通过我们的 FDE 团队帮助客户微调 Clef 以适应他们的工作负载。从中，我们将从实践经验中学习，构建一个自助平台，客户可以使用该平台在 Cloudflare 上捕获数据、微调并重新部署模型。
这实际上已经酝酿已久——我们一直在构建我们的 AI 平台，使其具备正确的原语，以便我们可以构建自定义 RL 产品。对 Jev 的兴趣表明了对快速、小型、特定的分类器模型的需求，我们选择这个作为我们的利基市场，开始尝试 RL 环境。
为此，我们利用已经在 Cloudflare 平台上构建的原语：
- Cloudflare AI Gateway – 将所有 AI 流量通过 AI Gateway，并自动为您的用例创建请求数据集
- Cloudflare Workers AI – 针对基础 Clef 模型生成 rollout
- Cloudflare Containers – 用于评分和重放代理操作的 RL 沙盒
- [新] Trainer – 更新微调后的 Clef 模型的权重
- Cloudflare Workers AI + BYO Model – 在 Workers AI 上重新部署微调后的模型
这结合了我们一直在研究的 AI 平台的一些进行中的部分，包括 AI Gateway（捕获您的 AI 流量，以便您利用自己的请求/响应数据）、用于 RL 沙盒的 Containers，以及自我们收购 Replicate 以来一直在进展的 Workers AI 的 Bring Your Own Model (Cog) 工作。
今天就试试
我们很高兴今天推出 Workers AI 团队的首个 Cloudflare 训练的机器学习模型。我们仍处于早期阶段，还有很多改进空间，但这是我们 AI 平台团队一直努力工作的精彩首次展示。我们相信 Clef 有能力颠覆我们使用代理的方式，这自然契合 Cloudflare 作为代理云的使命。
如果您有具体的用例，并且已经是这些产品的客户——我们很乐意与您交流，并在我们探索这一领域的过程中成为设计合作伙伴。
试用托管在 Workers AI 上的 Clef 模型，如果您想自行探索，可以下载 Hugging Face 上的权重，如果您有希望我们协助的微调用例，也欢迎联系我们。
我们的机器学习团队的影响力一直在增长，从模型优化到模型训练研究。如果您有兴趣加入我们的使命，请查看我们的开放职位。