Cloudflare 统一 Workers AI 与 AI Gateway：单一控制平面重塑 AI 应用开发

AI Gateway 和 Workers AI 最初是两款各自独立的产品，但随着时间推移，我们发现用户的需求正在趋同。借助 AI Gateway，你可以把请求代理到任意模型提供商，并获得内置的可观测性、日志、访问控制和安全能力。在 Workers AI 上，我们把模型托管在自己管理的 GPU 基础设施上，并提供一个 API 端点，供你以推理即服务（inference-as-a-service）的方式调用。

这两款产品的架构并不相同，但对最终用户来说，它们达成的目标是一致的：通过一个成熟的控制平面把你连接到各种模型。今天，我们很高兴分享这两款产品合并为统一路径的计划，这样你就可以连接任意模型提供商（包括 Workers AI），同时在单一控制平面上管理可观测性、计费、安全和日志等事项。

这是我们一系列宏大计划中的下一步——请继续阅读，了解统一控制平面对模型路由的未来意味着什么。

合并 binding 与 API

我们一直通过两个入口——Workers binding 和 REST API——暗示这两款产品正在走向统一。我们有一个 AI binding，可用来调用 AI Gateway 和 Workers AI。这里不存在单独的 AI Gateway binding 和 Workers AI binding 之分：一切都走同一条路径。几个月前，我们推出了“默认”网关的概念，这样即使你从未配置过 AI Gateway，也能自动获得 AI Gateway 的可观测性和日志能力。当然，如果你想把应用拆分到多个项目中，仍然可以指定自己的网关。

如果你通过 AI Gateway 调用 Workers AI，binding 调用大致如下：

export default {
  async fetch(request, env) {
    const response = await env.AI.run(
      '@cf/zai-org/glm-5.2',
      {
        messages: [
          { role: 'user', content: 'What is the capital of France?' },
        ]
      },
      {
        gateway: {
          id: 'default', // Use 'default' for the built-in gateway
        },
      }
    );

    return new Response(JSON.stringify(response), {
      headers: { 'Content-Type': 'application/json' },
    });
  },
};

我们还发布了统一的 REST API——/ai/ 端点，让你可以通过 AI Gateway 以类似方式调用 Workers AI。

curl "https://api.cloudflare.com/client/v4/accounts/{account_id}/ai/run/@cf/zai-org/glm-5.2" \
  -H "Authorization: Bearer {api_token}" \
  -H "Content-Type: application/json" \
  -H "cf-aig-gateway-id: default" \
  -d '{
    "messages": [{"role": "user", "content": "What is the capital of France?"}],
  }'

这样一来，AI Gateway 和 Workers AI 的入口就统一了，你不必先在两款产品之间做选择：所有能力开箱即用。

所有 Workers AI 用户都能自动获得可观测性与控制能力

这次融合最直接的好处之一是：你不再需要先显式创建 AI Gateway，才能看到自己的推理流量。如果你从未配置过网关，只需在 binding 或 REST API 调用中把 default 作为网关 ID 传入，AI Gateway 就会在第一次通过认证的请求时自动创建它。

这样一来，每个请求都会连同完整的请求和响应负载一起记录，每个模型的 token 数量都会被统计，无需任何仪表盘配置就能得到成本归因。如果之后默认网关不够用了——比如你想要自定义缓存规则，或按应用拆分流量——可以创建一个命名网关，只需修改一个参数就能把请求指向它。

下面是它在 binding 中的样子。以前，你是直接调用 Workers AI：

const response = await env.AI.run('@cf/zai-org/glm-5.2', {
  messages: [{ role: 'user', content: 'Hello!' }],
});

现在，只需加上第三个参数，就能经由 AI Gateway 路由并获得完整的可观测性：

const response = await env.AI.run(
  '@cf/zai-org/glm-5.2',
  { messages: [{ role: 'user', content: 'Hello!' }] },
  { gateway: { id: 'default' } } // Auto-creates the gateway on first use
);

打开 Cloudflare AI Gateway 仪表盘，你就能看到每一个请求：延迟拆解、token 用量、错误率，以及确切的提示词和响应。对于需要调试模型行为或审计 AI 输出的团队来说，这相比盲飞是一次巨大的升级。

新功能：用 AI Gateway 额度支付 Workers AI

我们今天推出的一项新功能，是可以用 AI Gateway 额度来支付 Workers AI。此前，AI Gateway 额度只能用于外部模型提供商（例如 OpenAI、Anthropic），还不能用在 Workers AI 的用量上。现在我们终于让系统支持了 Workers AI 的统一计费。这意味着你可以往钱包里充值额度，然后自由选择把它花在 OpenAI、Anthropic、Workers AI，或我们支持的任何提供商上。

由于我们现在为 Workers AI 提供预付费计费，并希望鼓励用户走这条新路径，因此如果你使用 AI Gateway 统一计费，我们还会为 Workers AI 模型提供更高的速率限制。有关速率限制的最新信息，以及如何申请更高的速率限制，请参阅开发者文档。

即将推出：模型优先路由

当你所有的推理流量都经过同一个控制平面，我们就可以从“你想要的模型”而不是“你必须管理的提供商”出发，更聪明地决定如何处理每个请求。提供商优先的路由迫使你去考虑基础设施：“我该调用哪个提供商？它宕机了怎么办？”模型优先的路由则反过来。你只需考虑自己需要什么——一个能力强的推理模型、一个快速的摘要模型、一个便宜的嵌入模型——提供商选择、故障转移和负载均衡都交给控制平面。

如今，如果你想调用某个模型，就必须知道它由哪个提供商托管。一旦该提供商宕机或对你限流，你的应用就会出问题。我们正朝着这样一个方向前进：你只需指定模型，其余的交给 AI Gateway。

这样，你可以直接请求 Kimi K2.7 Code，而不用关心它来自 Workers AI、Moonshot 自己的 API，还是另一家托管相同权重的提供商。如果 Workers AI 有余量，你就能享受到我们托管基础设施的好处；如果 Workers AI 已满载，网关会透明地把你负载均衡到另一家能提供同一模型的提供商。你仍然可以选择只使用某一家提供商，但如果你在意韧性，模型优先路由能给你更大的灵活性。我们与经过审核的提供商合作，因此模型输出的质量仍是首要考虑，同时也将能够遵守零数据留存（ZDR）等要求。

curl -X POST "https://api.cloudflare.com/client/v4/accounts/{account_id}/ai/v1/chat/completions" \
  -H "Authorization: Bearer {api_token}" \
  -H "cf-aig-gateway-id: my-gateway" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "kimi-k2.7-code",
    "messages": [{"role": "user", "content": "Review this function"}]
  }'

这也意味着默认就具备更好的韧性。如果某个提供商的模型版本出了问题，流量会切换到另一家，无需应用层重试，也不用在你的 Workers 里写复杂的回退逻辑。网关把模型可用性视为一个路由问题。我们希望在未来几个月内，面向所有 AI Gateway 和 Workers AI 用户开展试点。

下一步：智能路由

路由的下一步演进不止于简单的故障转移。我们正在构建智能路由，它能理解你的请求意图，无需任何配置就为任务挑选合适的模型。

你可以不指定模型，让网关来决定。在底层，一个运行在 Workers AI 上的分类器会读取你的提示词，预测任务类型（编码、研究、摘要、通用问答）、复杂程度以及上下文的重要性；随后由启发式评分器把结果映射到一个精选模型池中的最佳模型。对于想要掌控权的团队，你仍然可以指定确切的模型；对其他人来说，零配置路径意味着无需自己维护路由逻辑，就能获得更好的成本效益和性能。我们目前正在内部试点，并将在发布前的未来几周内积极测试和迭代。

立即上手

如果你已经在使用 Workers AI，最简单的尝试方式是开始把现有调用路由到默认网关。你会立刻获得请求日志、token 统计和成本归因，而调用模型的其他方式无需任何改变。

如果你已经在使用 AI Gateway，加入 Workers AI 就像调用一个 Workers AI 模型那样简单。给你的 AI Gateway 钱包充值后，你就能在我们支持的所有提供商之间享受统一计费，并在 Workers AI 模型上获得更高的速率限制。

设置你的第一个网关，浏览 Workers AI 模型目录，今天就开始构建吧。