互联网有了第二类受众
在互联网历史的大部分时间里，为其买单的受众只有一类：人。我们阅读文章、观看广告、购买订阅。机器人一直存在，但它们大多是大规模的自动化操作，不看广告、不付费，也不进行任何有意义的阅读。
这种情况正在迅速改变。2024年底，Cloudflare 平均每秒处理 6300 万次 HTTP 请求。如今，这一数字几乎翻倍，达到每秒 1.15 亿次，峰值超过 1.5 亿次。在过去一年里，我们网络上来自 AI 代理的每日请求量增长了超过 1700%。今年，互联网流量首次有超过一半并非来自人类。
人类网络并没有缩小以腾出空间。第二类受众与之并存：代理，即代表人们行事的软件。它们介于人类和传统机器人之间。它们不响应广告，但其背后通常有一个需要完成任务的人。对于学会服务它们并从中获取价值的企业来说，代理是增益的。对于没有学会的企业来说，代理是榨取性的。
我们客户的需求没有改变：被发掘、讲述精彩故事、打造出色体验，以及销售。改变的是，你的访客中超过一半现在是软件。我们的工作是帮助你服务这两类受众。
更多流量，更少收入
三十年来，网络运行在一种安排之上：你让搜索引擎抓取你的网站，它们给你送来访客，你将访客转化为生意。被找到和获得收入是一回事。
AI 打破了这种微妙的平衡。现在，答案引擎读取页面并向读者提供摘要。这消耗了网站的带宽，却没有将人类引导到发生广告或付费的网站。机器不断涌来，而为网络付费的受众不再到达这些网站。一些被爬取最严重的类别，如零售、计算机软件、IT 与服务以及金融服务，在不到一年内人类流量下降了多达 40%。
结果是，每次请求的收入在下降，而成本在上升。每一次自动化请求仍然消耗带宽、计算和源站容量，而且这些请求中越来越大的比例不带来推荐、不产生广告展示、也不带来订阅。我们的第一反应是屏蔽所有自动化流量。去年，我们建议在新域名上屏蔽 AI 训练爬虫，这样网站所有者至少可以对他们的内容被用于构建模型说不。2025 年春季，我们看到的爬虫请求中有 22% 是用于 AI 训练的（根据爬虫声明的目的）。到 2026 年 6 月，这一比例达到了 52%。问题在于，对于当下正在构建的互联网经济来说，一概拒绝并不是一种足够细致的做法。
服务代理的机会就在那里。做对了，你就站在一种新商业模式的前沿。然而，做错了，结果将与几代站在搜索引擎算法变化错误一边的网站所经历的一样。
其中一些流量就是客户
一个预订餐桌、比较保险报价，或为研究人员购买数据集的代理就是客户。只不过不是人类客户。
自动化流量中增长最快的部分不再是爬虫。而是代理：代表个人获取页面的软件，通常是因为人类向聊天机器人问了些什么。这种代理流量遵循人类的作息规律，具有每周的节奏，并在暑假期间有所下降。拒绝一个代理，你可能就是在拒绝派出它的那个人。
代理的行为也与训练爬虫不同。训练爬虫收集你的页面来构建模型。而代理在每次有人询问该内容时都会回来，因此这种流量随着人们提问的数量增长，而不是你发布内容的多少。
你无法与一个你看不见、无法区分、无法设定条款、无法收费的受众做生意。直到最近，对于网络上大多数非人类流量来说，这四件事都无法做到。
看清谁在真正访问
“AI 机器人”不再意味着任何有用的东西。重要的是机器人做什么。Cloudflare 的 AI Crawl Control、Business Insights 和 BotBase 向网站所有者展示谁在爬取、拿走了什么、什么会回来，以及他们最想要你的哪些 URL。
机器人的名字只有在你能够信任它时才有价值。通过 Web Bot Auth，包括 OpenAI、Google 和 AWS 在内的运营商对其代理的请求进行加密签名，因此网站可以区分真实代理和冒充者，而无需通过 IP 地址或用户代理字符串来猜测。我们每周看到超过 5000 亿次经过验证的机器人请求。
设定你的条款
7 月，我们将单一的“阻止 AI 机器人”开关替换为独立的搜索、代理和训练控制，适用于所有计划，包括免费计划。数据表明了为什么需要这种区分。Cloudflare 上不到 1% 的网站阻止搜索爬虫，而 17% 阻止训练。网站所有者从未试图隐藏。但随着代理流量的兴起以及代理使用信息的新方式，他们突然对自己的内容如何被使用失去了透明度或选择权。被找到不再保证他们获得报酬，他们希望被找到而不被利用。
在混合用途爬虫的情况下，这尤其困难。当一个机器人同时进行搜索和训练时，拒绝一个就意味着拒绝另一个。9 月 15 日，我们发布了禁止 AI 训练。它让你保持被搜索索引，同时使用爬虫特定机制指示运营商不要将你的数据用于训练。Apple、Google 和 Microsoft 已承诺遵守。
__Cloudflare Radar__新域名现在根据网站如何赚钱而不是什么软件在访问来查看推荐配置。对于广告支持的网站，你可以轻松禁止训练并在带有广告的页面上阻止代理，因为广告只有在人看到时才会付费。你可以随时更改这些设置中的任何一个。
获得报酬
2026 年 8 月，我们将我们正在构建的代理互联网描述为可读、可发现、可调用和可支付。最后一个词，可支付，是决定开放网络能否自我维持的关键。网络需要一种方式来说‘
是的，如果你付费’，而不是二元的‘
*是’*或‘
否’。
授权市场既显示了需求有多大，也显示了缺口在哪里。自2023年以来，已签署了50多项出版商与AI公司的协议。几乎所有协议都是定制化的双边协议，介于大型出版商和大型AI公司之间。它们证明了内容有价值。但它们无法覆盖大部分网络，也无法触及大多数买家。
并非所有资产都应以相同方式出售。高价值内容和数据集需要一个可信网络，在这个网络中，买家身份可识别，并报告作品的使用方式。像API和MCP工具这样的服务则不同：每一次请求就是使用。
因此，我们正在为两者构建解决方案。
按使用付费覆盖了直接授权无法触及的网站。大多数出版商永远无法与每家AI公司达成定制协议，也没有AI公司能与数百万个网站谈判。按使用付费是桥梁。它不对爬取收费。它在内容被实际使用时付费。每个买家都是经过验证的爬虫，这正是其成为可信网络的原因，并且每个买家都定义什么算作使用以及愿意支付多少。
出版商看到报价，选择是否加入，并能够在不再适用时随时退出。买家报告每次使用，Cloudflare核查这些报告，然后向买家收费并支付给出版商。报告与付款同样重要。出版商可以看到使用了什么、何时使用以及赚了多少，并且在买家报告的情况下，还能看到哪些问题引出了他们的作品。授权协议很少展示这些信息。它创建了一个反馈循环：出版商了解人们实际在问什么，并据此决定覆盖什么、更新什么，以及让哪些内容随时可供代理使用。
使用的定义不会只有一种。搜索引擎引用来源、研究代理引用段落、购物代理完成购买，创造了不同种类的价值，每种都会想要自己的商业模式。买家可以通过多种商业模式使用相同的轨道参与，出版商无需新的集成。以一本面向船舶工程师的行业期刊为例，它只有几千名订阅者，获得AI授权协议的前景渺茫。但每一家参与并使用了其作品的AI公司都会向它付费。
货币化网关捕获了从未有过交换方式的价值。账户、API密钥和订阅适用于你已经知道的客户，而不适用于想要从从未使用过的服务中查询一次的代理。我们的封闭测试允许符合条件的美国Cloudflare客户使用他们已熟悉的Rules语言，为通过我们的任何内容定价。当规则匹配时，我们使用开放的x402协议返回HTTP 402 Payment Required，代理直接向卖家付款。
这不仅仅是挽回损失的收入。代理本身就是客户：它们为自己使用的数据、API和工具付费，无论请求是整个购买还是更大任务中的一步。
Monetization Gateway 按请求、按查询或按 token 计费，采用固定价格或封顶价格。一个靠广告支撑的体育统计网站，可以在智能体每次询问“谁在助攻榜上领先？”时收取不到一美分的费用。当我们发布 Monetization Gateway 时，数千名卖家加入了等待名单，而他们最常见的请求是“向智能体收费，而不是向人类收费”。我们自己也是第一个客户。Cloudflare 的 AI Gateway 使用 Monetization Gateway 让智能体为推理付费，这样我们就能在客户之前发现那些粗糙的边缘。
对于买家来说，这两款产品都胜过一堵拦截页面：可靠访问，以及一种触达数百万网站的方式，而不是一次只谈一个授权协议或一个 API 密钥。每一次付费请求都会留下一张收据，显示购买了什么以及已付款。
Pay Per Use 和 Monetization Gateway 都是赌注，是与客户在共享原语上共同构建的：身份、计量、定价、结算和分析。它们协同工作，因此发布者可以在一个仪表盘中禁止训练、允许搜索、从 AI 回答中获利，并按文章向智能体收费。定价和发现机制尚未解决，这就是为什么两者都以测试版形式推出，由真实客户和真实交易塑造。
让每一次请求都更便宜
付费是收入下降的答案。成本上升是另一个问题，而其中大部分只是浪费。大多数爬虫仍然一遍又一遍地下载为人类构建的页面，只为提取几段文本。机器人常常爬取自上次尝试以来未曾改变的网站。这既消耗网站的带宽，也消耗爬虫的计算资源，而且这一切都发生在任何答案被写出之前。我们正在与客户和爬虫合作，开发有帮助的工具。今天，你可以在我们的仪表盘中看到每个运营方使用的带宽消耗。
7 月，我们宣布了与 OpenAI 的联合研究项目，这是一项首创性试点，旨在探索来自 Cloudflare 全球网络的洞察如何帮助 AI 搜索引擎更高效、更有效地发现和索引开放网络上的相关内容。我们计划在未来几周内分享初步结果。
对于我们的客户，我们正在推出工具和一键式体验，让他们的网站针对这种新型流量进行优化。**面向智能体的 Markdown 让智能体无需为人类眼睛准备的额外样式即可读取页面，并且
WebMCP## 为什么要在 Cloudflare 上构建
超过 20% 的网络位于 Cloudflare 网络之后，近 80% 的领先 AI 公司也是如此。我们看到了这个市场的两边。我们构建可见性、身份、控制和结算的轨道，让市场去决定什么东西值多少钱。
旧协议已经消失，新协议仍在书写中。我们可以共同塑造接下来发生的事。
在一种版本中，少数公司控制智能体如何发现事物、证明它们是谁并付款，其他所有人都通过它们路由。在另一种版本中，这些部分是任何人都可以实现的开放标准，任何规模的网站都可以设定自己的条款并获得报酬。我们更倾向于后者。
这就是为什么这些轨道运行在 x402 和 Web Bot Auth 等开放标准之上，以便任何人都能在其上构建。域名所有者选择自己的身份提供商、自己的支付处理商、自己的代理合作伙伴。Cloudflare 只是其中一个选项，而非整个技术栈。
几十年来，网络的费用一直由访问它的人支付。如今，代表他们访问的软件也能支付自己的一份了。