一年前，我们宣布了 内容独立日。当时，我们已经看到许多业内人士开始察觉到的事情：互联网的基本经济模式正在发生转变。人工智能的采用正在加速，出版商的推荐流量急剧下降，而人工智能公司以前所未有的规模爬取网络，通常没有明确声明意图，而且几乎总是没有补偿。
我们改变了默认设置。对于 Cloudflare 上的所有新域名，除非域名所有者另行选择，否则默认阻止 AI 训练爬虫。我们这样做不是为了封闭网络。我们这样做是因为我们相信，一个更健康的生态系统需要透明度、控制权、稀缺性，并最终需要一个市场，让高质量内容能够得到公平的估值和交换。
一年后，这个市场已经出现。但互联网的转型速度甚至比我们预期的还要快。在本报告中，我们分享了一些关键数据点，说明互联网商业模式转变的速度有多快——以及这个新的内容市场对出版商和网站所有者意味着什么。
第一部分：互联网已经改变——比任何人预期的都要快
垂直采用曲线
AI 不仅仅是另一个技术周期。它是一个平台转变，其速度是智能手机采用速度的两倍多。在短短 3.5 年内，超过 30% 的人类——25 亿活跃用户——已经定期使用生成式 AI。采用曲线不仅陡峭：它正在垂直上升。
开放网络的衰落
我们从未见过人类与信息互动、工作和在线时间的方式发生如此迅速的变化。
人们使用互联网的方式正在发生巨大变化。如今，每在线花一小时搜索信息，只有 15 分钟花在开放网络上。随着用户转向 AI 驱动的发现和消费，传统的搜索行为正在崩溃。用户不再访问多个网站来获取和比较信息，而是只需输入一个提示，就能立即收到一个整合的答案。
代理互联网已经到来
今年，代理流量首次跨越了一个历史门槛：互联网上超过 50% 的流量现在是非人类流量。这一转变对出版商、内容所有者以及开放网络的未来具有惊人的影响。
爬虫改变了目的
当查看 Cloudflare 按目的识别的爬虫时，爬虫流量的构成清楚地说明了这一点：
截至 2026 年 6 月，52% 的爬虫请求现在用于 AI 训练，而 2025 年春季这一比例为 22%。
混合用途爬虫（结合搜索、代理使用和训练）占活动的 36% 以上。
纯搜索爬虫现在在整体爬虫活动中占比很小且不断下降，尽管对出版商的可见性仍然至关重要。
随着 AI 训练成为爬虫活动的主要驱动力，区分发现和训练的能力变得越来越重要。混合用途爬虫模糊了这一区别，使内容所有者陷入困境：要么在代理时代保持可发现性，要么无偿放弃他们最有价值的内容。
旧的商业模式已经消失
几十年来，开放网络的经济模式一直很简单。内容创作者用其内容的访问权限换取在搜索引擎中的可见性，搜索引擎则返回推荐流量。这种流量成为出版商、创作者和企业产生经济价值的主要机制。
但如今，这种交换正在瓦解。内容仍然被爬取、索引和使用——但越来越多地没有相应的流量返回给来源。随着AI系统直接回答问题、比较产品、进行研究并完成任务，开放网络上的信息正日益成为AI训练和检索系统的一部分。这引发了一个根本性问题：如果内容被消费而受众从未访问来源，内容创作者如何维持生计？
影响与行业无关
最早感受到影响的是新闻机构和媒体公司。如今，类似的动态正在影响零售、软件、IT和金融等各行各业。一些被爬取最频繁的类别中，人类流量在不到一年内下降了高达40%。
许多出版商现在正在为他们所谓的“谷歌零”（Google Zero）做准备——一个几乎没有流量来自搜索推荐的世界。
这些影响实际上延伸到了每个行业。任何在互联网上发布专有信息的组织都需要了解如何在智能体时代运作。这种动态不仅对内容所有者重要，对我们所有人都重要。互联网是全球经济的关键部分，也是世界上最重要的公共信息资源之一。确保其保持健康和可持续对所有人至关重要。
第二部分：市场已经出现
当我们推出“内容独立日”时，我们承诺了三件事：
为网站所有者提供透明度和控制权，使他们能够定义其内容如何被访问和变现。
创造稀缺性的工具，将权力平衡重新转向内容所有者。
一个市场，让内容创作者和各种规模的AI公司能够更高效地发现、许可并确定内容的价值。
一年后，一个变现内容的市场已经出现，动态市场的条件正在形成。
透明度和控制权创造了稀缺性
历史上，出版商对AI公司如何访问和使用其内容的可见性有限。随着推荐流量下降，这种缺乏可见性变成了一个经济问题，促使出版商寻求新的价值获取方式。
Cloudflare的归因、商业智能和执行工具使出版商能够在网络层面看到AI的消费情况——这是一种比robots.txt等自愿标准更有效的执行机制。出版商首次能够决定其内容如何被访问和变现。这种控制权创造了稀缺性，并推动了供需内容经济。
稀缺性创造了杠杆
成功控制访问权限的出版商制造了稀缺性，从而获得了谈判筹码，促成了更有利的交易。出版商首次获得了运营商级别的归因数据——这些数据揭示了LLM尝试访问其内容的频率、哪些竞争性LLM在爬取、他们最受欢迎的URL是什么，以及爬取与引荐的比例。这减少了许可谈判中的信息不对称，使出版商能够基于信息优势进行谈判。
杠杆正在改变权力平衡
这种杠杆增强了我们客户的能力。随着他们对AI系统如何访问和使用其内容有了更清晰的了解，他们能够更好地理解这些对其业务的影响，并更自信地阐述他们所建立的信息、品牌和受众的价值。
随着内容所有者与AI公司之间的权力平衡开始发生变化，一种许可经济正在兴起：
- 自2023年以来，已签署超过50项出版商与AI之间的协议。
- 主要AI公司现在积极许可内容，越来越认识到差异化优质内容的价值。
- 集体许可模式持续出现并扩大规模。
- 大型出版商正在获得有意义的许可协议，表明内容在AI生态系统中具有实际经济价值。
讨论不再是是否应该为内容付费，而是如何付费。
市场正在成熟，但效率低下仍然存在
早期的许可协议证明了需求的存在，但目前的许可仍然大多是定制化的，不太可能完全取代流失的引荐流量、广告和联盟收入。因此，出版商越来越多地优化AI消费与传统人类发现，同时探索新的变现途径。
供需仍然难以有效匹配，尽管人们理解并非所有内容都具有相同价值，但内容估值问题仍未解决。
Google的融合问题
不讨论Google的独特角色，这个市场的讨论就不完整。Google仍然是网络发现的主要门户，约占引荐流量的88%。但Google越来越多地帮助用户在Google拥有的AI体验中直接消费内容。
发现和消费服务于根本不同的目的。搜索将用户引导至内容，而AI驱动的体验越来越多地总结和重用内容，而无需用户访问来源。网站所有者对这些活动的看法不同，因为一个产生流量，而另一个则逐渐替代流量。
当网站所有者决定谁应该被允许访问其内容以及出于何种目的时，这些差异变得尤为重要。大多数领先的AI公司将发现爬虫与训练爬虫分开，使出版商能够相对简单地为一个或另一个目的启用内容访问。Google则没有。如今，Google获取的信息量大约是领先AI公司的两倍，因为Google利用了一种混合用途的爬虫，这使得客户很难在不参与Google AI生态系统的情况下参与Google搜索生态系统。
与其他AI提供商不同，谷歌的混合用途爬虫也限制了网站所有者的透明度。由于发现和AI访问被合并到单个爬虫中，发布者无法判断谷歌为何访问其内容，也无法区分用于搜索的流量和用于AI体验的流量。他们还失去了在网络层面独立允许或阻止这些活动所带来的可见性和证据。
这种动态加速了对更高透明度和控制权的需求，以及对新的变现模式的需求，以更好地服务于内容所有者和各种规模的AI公司。
第三部分：生态系统的独特视角
Cloudflare处于新兴代理经济的交汇点。
超过20%的网站运行在Cloudflare的网络之上。在全球访问量最大的网站中，36%依赖我们的网络，超过40%的财富500强企业是Cloudflare的客户。近80%的领先AI公司使用Cloudflare，此外还有数千名开发者和新兴AI公司。
这一独特位置使我们能够洞察市场的双方。我们看到内容所有者创建内容，AI公司消费内容，以及连接两者的信号日益增多。这一视角让我们对过去一年市场的演变以及当前的需求有了独特的理解。
第四部分：新兴市场的经验教训
随着发布者和AI公司适应新的代理经济，Cloudflare对生态系统当前的需求有了更清晰的认识。
透明度必须成为标准
内容所有者越来越需要了解和控制谁在访问他们的内容、内容如何被使用以及用于什么目的。AI公司越来越认识到透明度可以建立信任并减少与发布者的摩擦。可见性和执行不再仅仅是安全问题——它们已成为直接影响许可谈判和商业决策的业务需求。
为了帮助使透明度成为标准，Cloudflare正在持续投资于增强的归属、衡量和发布者控制，使内容所有者能够更好地了解和控制其内容被访问和使用的方式。
随着行业向更高透明度转变，我们相信可验证的机器人自我识别和爬取意图声明是可持续生态系统的基础。如今，我们网络上超过三分之一的爬虫活动仍然来自混合用途机器人，这使得内容所有者无法区分爬取意图。我们正在积极与生态系统互动，并投资于工具，以帮助在明年此时将这一数字降至零。
更好的AI需要更好的信号
在过去一年中，越来越明显的是，AI公司需要的不仅仅是访问内容。他们需要更好的方式来确定访问什么、何时访问以及内容变化的频率。不加区分的爬取浪费了AI公司的计算资源，并给发布者带来了不必要的带宽负担，降低了整个生态系统的效率。
我们相信更好的答案需要更好的智能。我们正在投资于实时新鲜度信号，这些信号具有更丰富的信任度、质量和相关性，以帮助AI公司发现差异化信息，同时减少网络上的不必要爬取。
市场需要更好的发现，然后才是更好的定价
我们认为，更好的发现必须先于更好的定价。为了让市场成熟，出版商和人工智能公司需要更好地了解彼此。我们正在投资于更丰富的市场情报、内容信号以及改善生态系统双方发现能力的技术，为未来更可扩展的市场机制奠定基础。
第五部分：为智能体互联网构建基础设施
一年前，“内容独立日”提出了一个简单的想法：内容所有者应该对人工智能公司如何访问和使用其信息拥有更大的控制权。
在过去十二个月里，这种控制催生了一个市场。透明度创造了稀缺性。稀缺性创造了杠杆。杠杆加速了许可交易。曾经关于人工智能和内容未来的理论讨论，如今已变成一个活跃的市场，出版商、人工智能公司和技术提供商都在适应新的经济现实。
市场现在进入了一个需要新基础设施的新阶段。随着互联网日益智能化，支撑它的底层系统必须发展，以大规模处理权限、许可和商业交易。内容所有者和人工智能公司需要更高效的方式来连接和交换价值。我们相信，这些能力将汇聚成可编程、可扩展的内容发现和变现机制——减少摩擦，同时释放更丰富的价值交换形式。
Cloudflare 的角色是构建基础设施和商业情报，并贡献于标准，使市场能够更高效地确定价值，帮助出版商和人工智能公司参与一个更健康、更有活力的内容经济。
互联网一直在演进。这次演进比大多数时候更快、影响更深远。但凭借正确的基础设施、正确的激励机制以及对透明度的承诺，我们相信智能体互联网可以变得更可持续、更高效，对每个人都更好。
方法论：
本报告中的数据来自 Cloudflare Radar 和 Cloudflare 2026 年投资者日演示文稿。
Cloudflare Radar 是一个展示全球互联网流量、攻击和技术趋势与见解的中心。由 Cloudflare 全球网络的数据驱动，Radar 旨在帮助任何人从安全、性能和使用角度了解互联网上正在发生的事情。
Cloudflare 对互联网的独特理解来自其全球网络——世界上最大的网络之一，覆盖 100 多个国家的 330 多个城市——以及来自 Cloudflare 的 1.1.1.1 公共 DNS 解析器的聚合和匿名数据，该解析器被广泛用作快速且私密的互联网浏览方式。超过 20% 的网站运行在 Cloudflare 的网络之上。