推出具备完整多模态能力的 Clef-omni，同时带来更快的 Clef 和更便宜的 Clef-flash
继上周发布 Clef 和 Clef-flash——Cloudflare 的开源权重决策模型之后，我们决定带来更多惊喜。今天，我们发布 Clef-omni，它除了文本和图像外，还能接收音频和视频输入。我们还降低了 Clef-flash 的价格，使其现在比 Jev 更便宜，并且让 Clef 变得更快。
尽管对 Cloudflare 来说，模型这场游戏仍处于早期阶段，但创新和迭代已深植于我们的 DNA 之中，我们将这些原则应用于我们所做的一切。事实上，Clef 的故事在不到一周的时间里就成形了。我们在一个周五晚上决定要在决策模型领域做点什么，周末训练了模型，并在周四发布了它。即便时间线如此之短，我们仍能为社区交付性能出色、高质量的开源权重模型——想象一下未来我们还能做多少事。
今天，我们很高兴能延续这一势头，为我们的 Clef 模型家族带来新的成员和改进。这仅仅是开始，我们将继续变得更好、更快、更便宜、更具创新性。
Clef-omni 可接收音频、视频、图像和文本输入
我们全新的 Clef-omni 模型能够接收音频、视频、图像和文本输入。这改变了决策模型的范式——自 TypeSafe 的 Jev 首次亮相以来，这类模型大多仅支持文本。借助 Clef，我们支持了图像和视频帧数组，而 Clef-omni 则能够在文本和图像之外，接收音频（wav 或 mp3）和视频（mp4 或 webm）。
无需再搭建将语音转写为文本的级联模型流水线，也无需从视频中拆分音频和图像通道，你只需调用一个模型，即可跨任意模态做出决策。我们现在距离一个能够像我们体验世界那样与世界交互的模型更近了一步——通过音频、视觉和文本交流，集于一身。
请查看我们的开发者文档，了解新的 Clef-omni 模型。我们还发布了该模型
。如需快速上手，以下是如何向 Clef-omni 发送新的模态输入：
HuggingFace 上的开源权重```
curl https://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/ai/run/@cf/cloudflare/clef-omni \
-X POST \
-H "Authorization: Bearer $CLOUDFLARE_AUTH_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"model": "clef-omni", "state": "Review the installation: a photo of the unit, an audio recording of it running, and a video of the fan.", "images": ["data:image/png;base64,
"label_visible": {"type": "noul", "instructions": "Is the model and serial number label visible in the photo?"}, "sounds_normal": {"type": "noul", "instructions": "Does the unit sound like it is running smoothly, without rattling or grinding?"}, "fan_running": {"type": "noul", "instructions": "Is the fan running in the video?"}
}
}'
Clef-omni 将我们的开放权重决策架构扩展为原生处理多模态工作流。我们基于 Qwen3-Omni-30B-A3B-Instruct 混合专家（MoE）基础构建了它，该模型原本就能够在单一流水线中直接处理文本、图像、音频和视频。不过，我们采用其主要理解主干，同时舍弃文本转语音输出组件。在生产环境中，Clef-omni 会对完整载荷执行一次快速预填充（prefill）遍历，同时对所有模态和有效参数选项进行评分。
由于 Clef 模型不是大语言模型（LLM），我们跳过输出 token 生成，因此省去了转写或为传入文件添加字幕的开销。媒体元素直接映射到统一序列中，其中视频和音频与视觉帧同步以进行联合处理。随后，Clef-omni 通过我们的两阶段注意力路由直接从内部嵌入中提取候选值：每个有效选项都从输入中收集关键证据（无论它们埋藏在文本片段、视觉元素还是音频流中），之后字段向量在完整上下文上进行交叉注意力计算，以计算置信度分数。我们加入了一个内置的词法语法来保留选项语义，从而能够跨所有输入类型提供快速、受模式约束的评分。
我们使用与训练 Clef 相同的技术来训练该模型——冻结 Qwen3 主干、训练低秩适配器（LoRA），并应用我们标准的后训练方法：将标签平滑交叉熵损失与 Brier 分数校准相结合。最终得到的模型具有韧性，无论模式变化、字段顺序和提示结构如何，都能稳定成功。
这为 Clef 模型家族带来了若干核心升级。经过校准、受模式约束的决策现在可以在单次 API 调用中无缝处理文本、图像、音频和同步视频。它同样很快。纯文本决策的中位返回时间约为 130 毫秒，图像输入约为 150 毫秒，音频片段为几百毫秒。即使是带声音的完整 21 秒视频片段，也能在约 1.5 秒内完成评分，全部在单次 API 调用中完成。
我们的基准测试显示，即使采用新模态和 MoE 架构，在各基准上仍表现强劲。
| ||||
BFCL · case exact | 98.2 | 98.47 |
| 95.75 |
ToolRet · nDCG@10 | 66.6 |
| 66.43 | 65.28 |
API-Bank · accuracy | 92.7 | 91.93 |
| 88.19 |
Home appliances · case exact | 69.3 | 82.95 |
| 52.27 |
When2Call · accuracy | 63.3 | 72.37 | 65.58 |
|
BANKING77 · macro-F1 |
| 94.20 | 90.93 | 79.74 |
CLINC150+OOS · macro-F1 |
| 97.43 | 66.77 | 89.27 |
BRIGHT · nDCG@10 | 42.0 | 45.91 | 39.26 |
|
Amazon ESCI · macro-F1 |
| 57.48 | 57.39 | 55.21 |
PhishNChips · accuracy | 73.2 |
| 75.05 | 62.55 |
我们还针对 [ TypeSafe 评估进行了基准测试，以展示 Clef-omni 的表现](https://evals.typesafe.ai/)。
|
|
|
|
|
|
---|---|---|---|---|---|
Invoice processing | Exact actions | 60.2 |
| 57.1 | 61.8 |
Invoice processing | Primary action | 82.0 |
| 73.3 | 83.1 |
Customer service | Exact actions | 71.6 | 76.3 |
| 76.0 |
Security incidents | Exact actions | 61.7 |
| 61.7 | 61.7 |
Agent trace observability | Primary action | 65.8 | 68.5 | 69.8 |
|
## Clef-flash 模型现在更便宜了
我们听到了你们的反馈——你们想要一个足够实惠、可以融入任何工作流的决策模型。我们做了一些优化，现在可以以更低的价格提供 Clef-flash。我们希望 Clef 能够在你们所有的智能体工作流中为你扩展决策能力，而现在我们的定价也在激励这一点。
我们能够将模型优化到 Clef-flash 现在比 Jev *更便宜*，同时仍然保持高性能和高质量。请查看[开发者文档](https://developers.cloudflare.com/ai/models/)以随时获取最新定价信息，包括有关图像和音频模态如何转换为输入 token 以进行计价的更多细节。
- Clef-flash – 原为每百万输入 token $0.09，现为
**每百万输入 token $0.038** - Clef – 保持为
**每百万输入 token $0.24** - Clef-omni – 今日发布，价格为
**每百万输入 token $0.15**
然而，为了实现更便宜的定价，我们必须做出一个权衡，即削减 Clef-flash 的上下文窗口。托管版 Clef-flash 现在的上下文窗口为 24k，而不是之前宣传的 64k。Hugging Face 上的模型权重未做改动，其训练时支持 256k 上下文窗口，如果你选择自行托管的话。
从我们的使用数据来看，只有 0.24% 的请求超过 24k 输入 token。基于这些数据，我们决定将 Clef-flash 的上下文窗口降至 24k，以便将其定价定在更易接受的入门价位。我们的 Clef 模型仍保持 64k 上下文窗口，我们鼓励有更大上下文需求的用户改用 Clef 而非 Clef-flash。
## Clef 模型现在更快了
Clef 模型的速度也更快了，这得益于对 Workers AI 上托管版 Clef 的新优化。我们没有发布新的模型权重，因为我们所做的大部分优化都在服务基础设施层，并未实质性地改动模型权重或架构。请查看我们下面的新速度：
输入大小 | 之前：中位数 / p95（毫秒） | 现在：中位数 / p95（毫秒） | 中位加速 |
~800 tokens | 262 / 438 | 152 / 351 | 1.7× |
~3,400 tokens | 616 / 777 | 305 / 531 | 2.0× |
~16,000 tokens | 2,721 / 3,250 | 1,635 / 1,805 | 1.7× |
我们所做的优化之一是将模型服务迁移到 SGLang。我们与 SGLang 团队合作并提交了拉取请求以纳入 Clef（PR [ #42721](https://github.com/sgl-project/sglang/pull/42721)），该请求将在 SGLang 0.5.22 中发布。由于我们发布了权重，你也可以自行托管 Clef，新的 SGLang 启动命令可在我们的
[以及](https://huggingface.co/collections/Cloudflare/clef)
__更新的 Hugging Face 仓库__[.](https://docs.sglang.io/cookbook/autoregressive/Cloudflare/clef#hw=h200&variant=clef&quant=bf16&strategy=balanced&nodes=single)
__SGLang cookbooks__## 人们如何使用 Clef？
在 Cloudflare，我们已有团队在试验将 Clef 作为可帮助跨通用领域进行分类的模型。观察团队采用 Clef 最酷的一点是，进行检测和分类的能力已经转移到模型层，任何人都可以开始将决策模型纳入他们的用例。以前，即使是零样本分类器，小型模型也可能不够强大，无法在未经进一步调优的情况下跨任何领域进行分类。你可能需要组建一个专门的机器学习团队来帮助在你的特定领域上进行训练，并收集数据语料库以训练更好的模型。现在，你只需调用一个模型，即可立即精确地解析输入数据。
以下是 Cloudflare 团队使用 Clef 的一些亮点：我们的公共 GitHub 文档仓库使用 Clef 即时[检测并关闭垃圾问题](https://github.com/cloudflare/cloudflare-docs/pull/34139)。我们的内容管理系统 EmDash，
[。我们的数据丢失防护团队正在扫描数据以查找潜在的个人身份信息（PII），例如政府身份证件。我们的威胁情报团队正在使用 Clef 帮助检测恶意域名。](https://emdashcms.com/blog/01M49N4779YCXX3QPKWSSNE3DY)
__对插件库进行钓鱼审核__## 试一试吧！
我们很高兴为你带来 Clef 模型家族的更多内容，包括音频和视频等新模态，并通过更便宜的定价和更快的速度让模型更易获取。Clef 完全兼容 Jev-API，并可通过 AI Gateway 使用，因此今天试用 Clef 只需更改模型 ID 即可。查看我们的[开发者文档](https://developers.cloudflare.com/ai/models/)以获取更多信息。
感谢大家对 Cloudflare 首批模型的所有喜爱和热情欢迎——我们专注于为你带来更多。试用我们的 Clef 模型家族，并告诉我们你的想法。