利用身份感知分析捕捉失控的AI行为
Ming Lu、Kenny Johnson 和 Ayush Kumar
当你查看AI账单时，很难判断是否有异常。你首先需要一个基线，以便看到发生了什么变化，无论是失控的代理，还是使用量激增10倍的员工。能够发现这些变化让你开始调查，而到目前为止，这些变化很难被察觉。
了解谁在用AI做什么，是组织当前面临的关键挑战之一。斯坦福大学的一份报告发现，59%的组织表示，知识差距是负责任AI治理的最大障碍。
这既是财务问题，也是安全问题。解决这些问题需要两件事：每个请求都有经过验证的身份（这样激增背后就有名字），以及该身份正常行为的画像。今天，我们同时宣布这两项功能。
带有Cloudflare Access的身份感知AI Gateway现已进入公开测试阶段，User Insights已向所有AI Gateway客户免费提供。它们共同将已经流经AI Gateway的流量转化为每个使用它的人员和代理的行为基线，并识别出偏离基线的行为。
什么是AI Gateway？
AI Gateway是所有AI使用的中央控制平面。应用和团队不再直接调用OpenAI、Anthropic、Google或Workers AI的模型，而是先通过AI Gateway路由请求，为您提供一个观察、保护和管理所有AI使用的位置。
它适用于您构建的应用程序，以及您的开发人员已经使用的编码工具。将代理框架（如Claude Code、Codex和GitHub Copilot）路由到AI Gateway，它们将与其他所有内容一样受到相同的可见性和控制。
身份感知AI Gateway
借助AI Gateway和Cloudflare Access的集成，您可以将自定义域名放在网关前面，并使用Access保护它，就像任何其他应用程序一样。这意味着您可以：
- 使用任何支持SAML的身份提供商（如Okta或Entra）进行身份验证，无需生成和传递Cloudflare API密钥。
- 设置策略，精确控制谁可以访问您的网关。
- 将请求发送到像
ai.example.com这样的干净主机名，URL中不包含账户ID或网关ID。
现在，每个经过身份验证的请求都携带来自Access的用户身份。AI Gateway将经过验证的Access用户ID添加到请求元数据中，作为cf.user_id，因此您可以按实际发出请求的人员筛选日志、分析和支出。
结合支出限制，该身份成为预算工具。由于每个请求现在都携带真实用户，您可以设置按用户的支出限制：为每个用户提供自己的预算桶，当达到限制时阻止进一步请求或回退到更便宜的模型。不再有意外账单，也不再有共享 API 密钥隐藏谁花了什么。
我们的早期采用者之一 Flexport 恰好遇到了这个问题。
“共享 API 密钥几乎无法判断谁在使用 AI 服务，也无法应用我们已有的员工访问规则，”Flexport 的高级安全工程师 Max Baumgarten 说。“将 Cloudflare Access 放在 AI Gateway 前面，为每个请求提供经过身份验证的身份，并让我们在网关使用现有的身份策略。我们的团队可以采用 AI 工具，而无需为每个客户端创建单独的身份验证系统。”
在不久的将来，您将能够使用用户的身份提供商组来设置支出限制或控制组可以访问的模型。例如，让您的机器学习团队访问前沿模型，限制支持团队的支出，或将预算范围限定到特定项目上的所有人员，所有这些都映射到您已在身份提供商中管理的组。
新的用户洞察标签页
在 AI Gateway 中，您现在会看到一个名为“用户洞察”的标签页。用户洞察读取通过网关的流量，并将其转化为每个账户的行为画像。它了解每个账户通常如何运作，识别偏离该模式的账户，并为您提供区分恶意代理和忙碌工程师的上下文。它适用于已经通过网关的流量，因此无需设置。
用户洞察跟踪成本，包括浪费的地方，例如低缓存命中率和过大的上下文窗口。许多工具已经做到这一点。它们不会告诉您账户行为是否正常。这正是我们选择关注的，连同成本控制。
为每个账户建立基线：人员和代理
每个账户都会随时间留下行为指纹，无论是人还是代理。一个每三小时总结工单的代理是紧凑且一致的。一个人则更杂乱，提示多样，时间不规律，在难题上会话时间长。两者都是合法的，因此相同的偏差可能对一个是噪声，对另一个是真实信号。
在用户洞察中，我们首先对会话评分，而不是单个请求。绝对阈值在这里失效：重度用户增加 500 美元可能是正常的，而一个通常花费 5 美元的代理出现 50 美元的会话则是 10 倍的变化，否则可能被忽略。因此，我们将每个会话与账户自身的历史进行比较，使用过去 30 天的第 95 百分位（p95）会话成本。这让我们了解账户通常如何运作，任何超过其 p95 的 2 倍的值都是异常行为的强候选。
以下分析概述了我们如何得出这些数字。
图 1：会话成本异常检测
如何阅读上图
该图绘制了我们内部流量中的真实会话。每个点代表一个单独的会话（以对数刻度绘制）：
X轴（会话成本）：总成本（美元）。Y轴（x 用户 p95）：会话超过用户个人基线的次数。
两条虚线阈值线将会话分为四类：
右上角（★ 星标）：同时超过 2 倍用户 p95 基线和账户级 p99 上限。这些是相对较高的峰值，代表有意义的异常支出，将触发警报。左上角：相对较高的峰值（2 倍用户 p95），但低于账户 p99 下限。我们忽略此情况，以避免对小额变动发出警报。右下角：绝对支出较高，但与该用户典型的高使用量一致。这也被视为常规行为而忽略。左下角：正常活动，完全在两个基线之内。
图 2：账户级会话成本分布
此直方图（图 2）映射了整个组织中的每次会话成本，以建立账户范围的支出上限：
- 典型使用：绝大多数会话成本远低于 10 美元，第 95 百分位为 20 美元。
- 账户 p99（200 美元）：整个公司中只有 1% 的会话达到或超过 200 美元。
那么为什么选择 p99？将绝对美元上限设置为账户 p99 创建了一个有意义的门槛。它确保异常不仅仅是某个特定用户的突然变化，而且在整个组织的所有会话中排名前 1% 的最昂贵会话之列。
图 3：单个用户会话历史
基线不是静态的。随着账户习惯的变化，其滚动 p95（绿线）和 2 倍阈值（橙线）也随之移动，因此警报始终反映最近的行为，而不是一次性设定的数字。我们还应用了美元下限，因此峰值必须既在统计上异常，又值得管理员花时间调查。这个美元下限确保微用户几美分上的 500 倍波动永远不会触发警报。
检测异常行为的正确视角
经过以上所有分析，管理员看到的是那些打破自身模式且过滤掉所有正常行为的账户视图。这个过滤后的视图就是异常行为流。
这种行为很难捕捉，因为信号从来不是新工具或阻止的操作。它是一个受信任的账户做了更多它已经被允许做的事情。可能是一个服务账户突然开始运行更昂贵的会话，或者一个人的使用量远远超过自己的常态并持续数天。
这些都不会触发策略，但都打破了行为基线。账户自身使用情况的突然偏离通常是凭据泄露或代理失控的第一个可观察迹象。
User Insights 不会判断意图，也不会阻止任何人；相反，它会将少数开始行为异常的账户展示给管理员，以便有人能提出下一个问题。有时这会引发真正的调查。有时这只是意味着有人需要指导（比如那个开发者，在只需要代码片段时却把整个代码库都塞进每个提示中）。
下一步
我们将帮助您从成本控制转向成本优化
一旦您设定了预算，下一个自然的问题就是：如何以更低的成本获得同等质量的输出？并非每个请求都需要前沿模型。摘要任务或简单的代码补全可以使用更便宜的模型，而不会造成明显的质量损失。
我们正在构建基于任务的智能路由，AI Gateway 会分析传入的请求，并将其路由到能以最低成本提供最佳结果的模型。在组织层面，您将能够看到通过路由到更高效的模型可以在哪些方面节省最多成本。基于任务的智能路由正在积极开发中。随着其成熟，我们将分享更多信息。
我们将帮助您了解 AI 是如何被使用的
异常检测会告诉您某个账户打破了其行为模式，但不会告诉您原因。管理员仍然需要深入日志，拼凑出发生了什么。弥补这一差距是我们下一步的重点，首先是对流量进行实际分类。
我们正在构建提示分类功能，将请求分为编码、写作等类别。这些类别是几乎所有其他信号都缺失的上下文。工程师在“编码”类别中的支出激增可能是可以接受的，但同一激增出现在该账户从未接触过的类别中则不可接受。分类可以向组织展示不仅使用了多少 AI，还展示了 AI 用于什么目的。
它还能回答大多数此类对话背后的根本问题：AI 是否被用于其预期的工作？一旦业务流量与其他流量分离，个人使用就变得可见。从外部看，有人在公司时间从事副业和有人悄悄通过模型转移数据看起来是一样的。区分这两者对于捕捉内部风险至关重要。
一旦您的 AI 流量通过 AI Gateway 运行，每一类新的风险或效率信号都会成为管理员无需额外设置即可获得的信息。
开始使用
User Insights 现已对所有 AI Gateway 客户全面开放，无需额外费用。它已经出现在任何通过网关发送流量的用户的仪表板中，因此如果您已经通过 AI Gateway 路由流量，您就可以使用此视图。
如果您还没有，创建一个网关并开始向我们的模型目录中的任何模型发出请求。
我们建议您将 AI Gateway 放在 Cloudflare Access 之后，该功能现已进入公开测试阶段。支出和异常视图在没有它的情况下也能工作，但附加身份才能将匿名账户 ID 变成您可以实际采取行动的名称。在强制执行任何策略之前，请先以监控模式启动，以了解您的基线。
我们想听听您目前如何管理 AI。加入 Discord 上的讨论，或联系您的客户团队。