如今，全世界的 CIO 没有一个不在为 AI 支出发愁，CFO 也越来越紧张。
出于对落后的担忧，许多公司推动员工尽可能积极地使用 AI。指令很明确：“动作要快，账单以后再算。”而且在大多数情况下，这行得通：对于积极投入的团队来说，AI 确实带来了变革性的影响。
但成本是真实存在的：我们听说过无数关于 token 费用产生巨额账单和令人头疼的超支的惨痛故事。
今天，我们宣布 Cloudflare AI Gateway 推出支出控制（spend controls），并开启封闭测试，提供基于 Cloudflare Access 和你现有身份提供商的身份驱动预算与路由。
在与数百家公司探讨其 AI 战略的过程中，我们看到了一个共同的故事：公司通过一个共享的 API 密钥，让每位工程师都能使用前沿模型。使用量激增。月底，财务拿到账单，却没人能说清钱花到哪儿去了。是机器学习团队在训练新的流水线？是实习生用 Claude Opus 做邮件分拣？还是某个失控的持续集成任务在一个周末烧掉了 5000 万个 token？没人知道，因为 API 密钥并不会告诉你是谁用的。
没有规范的话，员工通常会选用可用的最大模型。他们为什么不这样呢？如果没有预算、没有可见性、也没有路由逻辑，理性的选择就是所有事情都用最强大的模型。问题在于，大多数任务并不需要前沿模型。代码评审摘要和复杂的架构重构不需要同一个模型，日志解析器和面向客户的内容生成器也不需要同一个模型。为任务选择合适的工具应该很容易，而不是默认选用最强大也最昂贵的那一个。同时，查看钱花到了哪里也应该很简单。
看不清自己花了多少钱，就无法计算 AI 支出的投资回报率（ROI）；没有控制手段，就无法守住这份 ROI。企业中的其他每一项支出都有预算和按团队的归属，AI 支出也不应例外。
什么是 AI Gateway
AI Gateway 位于你的应用与 AI 提供商之间。你不再直接调用 OpenAI、Anthropic、Google 或任何其他提供商，而是让请求先经过 AI Gateway。
这立刻为你带来了几个有用的工具：
- 统一计费，轻松在不同提供商和模型之间切换
- 跨所有提供商的日志记录：每个请求、token 数量和成本集中在一处
- 响应缓存
- 速率限制
- 内容护栏，以及在请求到达模型之前拦截个人身份信息（PII）和密钥的能力
然而，AI Gateway 过去没有简便的方法来回答谁花了多少钱，也无法方便地为 AI 支出设置上限。
你可以看到整个账户的聚合使用量，却看不到工程部门的 Jane 这个月在 Claude 上烧掉了 2,000 美元，而整个数据科学团队只用了 400 美元。你也无法设置这样的预算：“工程部每月在前沿模型上享有 5,000 美元，实习生每月在 Kimi K2.6 上享有 200 美元。”
这一切从今天起改变。
支出限额：AI 使用的预算
AI Gateway 现已将支出限额（spend limits）作为核心功能支持。这是真正的成本控制手段，预算以美元而非 token 计，跟踪所有请求的累计支出，独立于传统的速率限制运行。
你可以把限额限定在任意维度的组合上：模型、提供商，或管理员定义的自定义属性，如用户、团队或应用。时间窗口可以是固定的（在每月 1 日、周一或午夜重置），也可以是滚动的，并可设为按日、按周或按月。
AI Gateway 根据模型定价计算每个请求的成本，并实时跟踪相对于限额的累计支出。你可以在我们的分析仪表板上轻松查看模型支出，并按模型、提供商或任何自定义属性进行筛选。
当达到预算上限时，你有多种处理选项。AI Gateway 默认会拦截后续请求。你也可以通过动态路由（Dynamic Routes）设置规则，在达到支出限额后把请求路由到备用模型，这样硬性的支出上限就不会中断工程师的工作流。我们正在努力增加在达到限额时发送告警的能力。
支出限额现已面向所有套餐的全部 AI Gateway 用户开放公测。你可以在仪表板的网关设置中或通过 API 进行配置。
我们自己也在用
我们已经在 Cloudflare 内部跟踪 token 成本。每位 Cloudflare 员工每天都在使用 AI 工具，每月通过 AI Gateway 路由数百万个请求和数十亿个 token。我们面临着每家公司在这一规模下都会面临的同样问题：谁在用什么，我们又该如何为此做预算？
我们的解决办法是让 AI Gateway 为每个请求添加身份。员工通过 Cloudflare Access 认证后，我们从 JSON Web Token（JWT）中提取其身份，并将其作为元数据附加到 AI Gateway 请求上。这样，按用户的 token 消耗、团队级别的使用明细以及整个组织的成本归属，都可以在一个地方一目了然。
身份驱动的预算与策略（封闭测试）
除了支出限额，今天我们还宣布推出身份驱动的预算与策略，目前为封闭测试。
AI Gateway 的支出限额让你可以按模型、提供商或自定义属性设置预算。但你的应用必须传递这些元数据，而 AI Gateway 对收到的内容照单全收。要实现经过验证的自动归属，你需要身份。
与 Cloudflare Access 结合使用时，AI Gateway 能够看到每个请求是谁发出的：不仅是哪个账户，还包括哪位员工、哪个身份提供商（IdP）组、哪个服务等等。
实际使用起来是这样的。
你可以设置按用户的预算，比如普通贡献者每月 500 美元，资深工程师 2,000 美元。当用户达到限额时，请求可以被降级到更便宜的模型，或被拦截。
你可以设置按团队的模型策略。例如，机器学习团队可以使用 Claude Opus 和 GPT-4o，品牌设计团队可以使用图像和视频生成模型，实习生使用 Workers AI 上的开源模型。这些策略直接对应你现有的 IdP 组，也就是你已经在管理的同一批身份提供商组。
对于 CI/CD 流水线和自主智能体，Access 服务令牌（service tokens）允许你为每个智能体赋予一个具名身份。你可以看到代码评审机器人本周用了 500 万个 token，而文档生成器用了 50 万个。如果某个智能体失控，可以对它应用预算策略，而不影响其他任何智能体。
每条 AI Gateway 日志都会包含经过认证的身份：邮箱、IdP 组、服务令牌名称。将这些日志导出到你的分析平台，无需自行构建任何定制方案，就能得到按用户、按团队划分的成本明细。
在底层，你需要为 AI Gateway 端点创建一个 Cloudflare Access 应用，并基于你的 IdP 组配置策略。开发者或智能体发出请求时，通过 OAuth 认证，采用典型的 CLI 设备码（device-code）流程。AI Gateway 验证令牌并提取身份。你无需编写自定义 Worker，无需自己解析 JWT，也不必依赖全凭自觉的元数据请求头。
我们最近撰文介绍了我们如何构建内部 AI 工程技术栈。我们今天开放的正是这套能力，这样你也可以使用，而不必自己构建。
如果你想获得封闭测试的资格，请在此报名。
下一步：从成本控制到成本优化
设置预算是必要的。但有了预算之后，如何物尽其用？
现实是，并非每个请求都需要前沿模型：摘要任务可以在更小、更便宜的模型上运行，而不会有明显的质量损失，而大规模代码重构则可能需要最前沿的模型。但在缺乏控制的情况下，人们几乎总会选择最先进的模型。
解决办法即将到来：我们正在 AI Gateway 中构建智能的、基于任务的路由。对于每个请求，我们可以分析并自动将其路由到能以最低成本给出最佳结果的模型。这项工作正在积极开发中，请关注我们的开发者文档和更新日志。
开始使用
AI Gateway 可免费上手。支出限额现已面向所有用户开放。
如果还没有，请创建一个网关并将你的应用指向它。然后在仪表板中或通过 API 设置支出限额。建议先用较高的限额并处于监控模式，在开始强制执行之前先了解当前的使用模式。
如果你需要按用户归属和基于团队的策略，请报名参加身份驱动预算的封闭测试，我们会协助你完成 Access 集成的设置。
我们想听听你目前是如何管理 AI 成本的。欢迎加入 Cloudflare Community 的讨论，或联系我们，探讨你更广泛的 AI 安全策略。