看着自己的 AI 账单，很难判断是否有哪里不对劲。你首先需要一条基线，才能看出发生了什么变化，不管是某个智能体失控了，还是某位员工的用量暴涨了 10 倍。能发现这些变化，你才可以着手调查，而迄今为止，要看到它们一直很困难。
弄清谁在用 AI 做什么，是各组织眼下面临的关键挑战之一。斯坦福大学的一份报告发现，59% 的组织表示，知识缺口是负责任 AI 治理的最大障碍。
这既是财务问题，也是安全问题。要解决这些问题需要两样东西：每个请求上都有经过验证的身份（这样一次激增背后就有一个具体的名字），以及对该身份“正常是什么样”的刻画。今天，我们宣布这两项能力同时上线。
搭配 Cloudflare Access 的身份感知 AI Gateway 现已进入公开测试，User Insights 则面向所有 AI Gateway 客户正式发布（GA），不额外收费。两者结合，把已经流经 AI Gateway 的流量变成每个使用者（人和智能体）的行为基线，并找出偏离基线的那些。
什么是 AI Gateway？
AI Gateway 是你所有 AI 使用的中央控制平面。各个应用和团队不再直接调用 OpenAI、Anthropic、Google 或 Workers AI 上的模型，而是先把请求路由到 AI Gateway，让你在一个地方观测、保护和治理全部 AI 使用。
它既适用于你自己构建的应用，也适用于开发者日常使用的编码工具。把 Claude Code、Codex 和 GitHub Copilot 这样的智能体 harness 经由 AI Gateway 路由，它们就和其他一切一样，纳入同样的可见性与控制之下。
身份感知的 AI Gateway
借助 AI Gateway 与 Cloudflare Access 的集成，你可以在网关前放置一个自定义域名，并像保护其他应用一样用 Access 保护它。这意味着你可以：
- 使用任何支持 SAML 的身份提供商（如 Okta 或 Entra）进行认证，无需再生成并四处传递 Cloudflare API 密钥。
- 精确设定谁可以访问你的网关的策略。
- 把请求发送到一个简洁的主机名，例如
ai.example.com，URL 中不含账户 ID 或网关 ID。
现在，每个经过认证的请求都带有来自 Access 的用户身份。AI Gateway 会把经过验证的 Access 用户 ID 以 cf.user_id 的形式加入请求元数据，因此你可以按实际发出请求的人来筛选日志、分析和支出。
配合支出限额，这个身份就成了预算工具。由于每个请求现在都带有真实的用户，你可以设置按用户的支出限额：给每个用户各自一份预算，达到上限后，要么拦截后续请求，要么回退到更便宜的模型。不会再有意外的账单，也不会再有共用的 API 密钥掩盖谁花了多少钱。
我们的早期采用者之一 Flexport 就遇到了这个问题。
“共用的 API 密钥几乎让人无法分辨谁在使用某项 AI 服务，也无法套用我们对员工已有的访问规则，”Flexport 的资深安全工程师 Max Baumgarten 说。“把 Cloudflare Access 放在 AI Gateway 前面，让每个请求都有了经过认证的身份，也让我们能在网关上沿用现有的身份策略。我们的团队可以采用 AI 工具，而不必为每个客户端单独搭建一套认证系统。”
不久的将来，你将能够利用用户的身份提供商分组来设置支出限额，或控制某个分组可以访问哪些模型。例如，让你的机器学习团队使用前沿模型，给支持团队的支出设上限，或者给参与某个特定项目的所有人划定一份预算，这一切都映射到你已在身份提供商中管理的分组。
全新的 User Insights 标签页
在 AI Gateway 中，你现在会看到一个名为 User Insights 的标签页。User Insights 读取经过你网关的流量，并把它转化为每个账户的行为画像。它会学习每个账户平时的行为方式，找出偏离该模式的账户，并提供上下文，帮你区分失控的智能体和繁忙的工程师。它基于已经流经网关的流量运行，因此无需任何配置。
User Insights 会追踪成本，包括成本浪费在哪里，比如缓存命中率低和上下文窗口过大。已经有不少工具能做到这些。它们做不到的是告诉你某个账户的行为是否正常。这正是我们在成本控制之外选择专注的方向。
为每个账户建立基线：人与智能体
无论是人还是智能体，每个账户随着时间推移都会留下行为指纹。一个每三小时汇总一次工单的智能体，表现得紧凑而稳定。人则杂乱得多，提示词多变，时间不规律，遇到难题时会有很长的会话。两者都是正常的，因此同样的偏离，对一方可能只是噪声，对另一方却是真实的信号。
在 User Insights 中，我们从为会话（而非单个请求）打分入手。绝对阈值在这里行不通：重度用户一次 500 美元的跳升可能很正常，而一个总是只花 5 美元的智能体出现一次 50 美元的会话，则是 10 倍的变化，否则可能被漏掉。所以我们把每个会话与该账户自身的历史比较，使用其过去 30 天会话成本的第 95 百分位（p95）。这让我们了解该账户通常如何运作，任何超过其 p95 两倍的会话，都是异常行为的有力候选。
下面的分析概述了我们是如何得出这些数字的。
图 1：会话成本异常检测
如何阅读上面的图表
图表绘制的是我们自己内部流量中的真实会话。每个点代表一个单独的会话（采用对数坐标）：
- X 轴（会话成本）：以美元计的总成本。
- Y 轴（x User p95）：该会话超出用户个人基线的倍数。
两条虚线阈值把会话分成四类：
- 右上（★ 星标）：同时超过 2 倍用户 p95 基线和账户级 p99 上限。这些是相对幅度很高的激增，代表有意义的异常支出，会触发告警。
- 左上：相对激增幅度高（2 倍用户 p95），但低于账户 p99 下限。我们忽略它，以避免对小额美元变动发出告警。
- 右下：绝对支出高，但与该用户典型的高用量一致。这同样作为常规行为被忽略。
- 左下：正常活动，完全处于两条基线之内。
图 2：账户级会话成本分布
这张直方图（图 2）映射了整个组织内每个会话的成本，以确立账户范围的上限：
- 典型用量：绝大多数会话的成本远低于 10 美元，第 95 百分位为 20 美元。
- 账户 p99（200 美元）：整个公司只有 1% 的会话达到或超过 200 美元。
那么为什么选择 p99？把绝对美元上限设在账户 p99，能建立一个有意义的门槛。它保证一次异常不只是某个特定用户的突然变化，同时也跻身全组织最昂贵的 1% 会话之列。
图 3：单个用户的会话历史
基线不是静态的。随着账户习惯的变化，其滚动 p95（绿线）和 2 倍阈值（橙线）也随之移动，因此告警反映的始终是近期行为，而不是一次性设定的数字。我们还设置了美元下限，使一次激增必须既在统计上不寻常，又值得管理员花时间调查。正是这个美元下限，让一个只花几美分的微量用户出现 500 倍的小波动时，永远不会触发告警。
检测失控行为的正确视角
经过以上所有分析，管理员看到的是一张打破自身模式的账户视图，所有正常情况都已被过滤掉。这个过滤后的视图就是一个失控行为信息流。
这种行为很难发现，因为信号从来不是新工具或被拦截的操作，而是一个受信任的账户在做更多它本来就被允许做的事。可能是某个服务账户突然开始运行更昂贵的会话，也可能是某个人的用量远远超出其自身常态，并持续数天。
这些都不会触发任何策略，却全都打破了行为基线。账户自身用量的突然偏离，往往是凭证被盗用或智能体失控的第一个可观察迹象。
User Insights 不判断意图，也不会拦截任何人；它只是把少数开始行为异常的账户摆到管理员面前，让人可以问出下一个问题。有时这会引出一次真正的调查；有时只是意味着某人需要指导（比如那个明明一小段代码就够、却把整个代码库塞进每条提示词的开发者）。
下一步
我们将帮你从成本控制走向成本优化
设好预算之后，自然的下一个问题是：如何以更低的成本获得同等的输出质量？并非每个请求都需要前沿模型。摘要任务或简单的代码补全，用更便宜的模型就能完成，质量不会有明显损失。
我们正在构建基于任务的智能路由：AI Gateway 分析传入的请求，并将其路由到能以最低成本给出最佳结果的模型。在组织层面，你将能看到把请求路由到更高效的模型能在哪里节省最多。基于任务的智能路由正在积极开发中，等它成熟后我们会分享更多。
我们将帮你理解 AI 是如何被使用的
异常检测会告诉你某个账户打破了自己的模式，却不会告诉你原因。管理员仍然需要深入日志，拼凑出到底发生了什么。弥合这一差距是我们接下来的重点，而它从对流量实际是什么进行分类开始。
我们正在构建提示词分类，将请求归入编码、写作等类别。这些类别正是几乎所有其他信号所缺失的上下文。一位工程师在“编码”类别上的支出激增也许可以接受，但在该账户从未涉足的类别上出现同样的激增就不行。分类不仅能让组织看到自己用了多少 AI，还能看到用 AI 做什么。
它还回答了大多数此类讨论背后的问题：AI 是否被用于它本该用于的工作？一旦把业务流量与其余流量分开，个人用途就显现出来了。从外部看，在上班时间经营副业的人，和悄悄通过模型把数据转移出去的人看起来并无二致。把两者区分开来，是发现内部风险的核心。
只要你的 AI 流量经由 AI Gateway 运行，每增加一类风险或效率信号，管理员就多获得一项能力，无需额外配置。
开始使用
User Insights 今天已向所有 AI Gateway 客户正式发布，不额外收费。任何经由网关发送流量的用户都已能在控制台中看到它，所以如果你已经在通过 AI Gateway 路由，这个视图就可以使用。
如果你还没有，请创建一个网关，并开始向我们目录中的任意模型发起请求。
我们建议你把 AI Gateway 置于 Cloudflare Access 之后，该功能现已进入公开测试。支出和异常视图无需它也能工作，但附加身份才能把匿名的账户 ID 变成你可以据以行动的名字。先从监控模式开始，在强制执行任何策略之前先学习你的基线。
我们想听听你目前是如何管理 AI 的。欢迎加入 Discord 上的讨论，或联系你的客户团队。