一年前，我们宣布了内容独立日（Content Independence Day）。当时，我们已经看到业内许多人开始察觉的趋势：互联网的基本经济模式正在发生转变。AI 的采用在加速，出版商的引荐流量在快速下滑，而 AI 公司正以前所未有的规模抓取网络，往往没有明确声明意图，而且几乎从不给予补偿。
我们改变了默认设置。对于 Cloudflare 上所有新域名，除非域名所有者另行选择，AI 训练爬虫将默认被拦截。我们这样做不是为了把网络围起来，而是因为我们相信，一个更健康的生态需要透明度、控制权、稀缺性，并最终需要一个能让高质量内容得到公平定价和交换的市场。
一年过去，这个市场已经出现。但互联网的变革速度比我们预期的还要快。在这份报告中，我们分享一些关键数据，说明互联网的商业模式转变得有多快——以及这个新的内容市场对出版商和网站所有者意味着什么。
第一部分：互联网已经改变——比任何人预想的都快
垂直式的采用曲线
AI 不只是又一轮技术周期。它是一场平台级的转变，其发生速度是智能手机普及速度的 2 倍以上。仅仅 3.5 年，就有超过 30% 的人类——25 亿活跃用户——开始经常使用生成式 AI。这条采用曲线不只是陡峭，而是近乎垂直。
开放网络的衰落
人类获取信息、从事工作和花时间上网的方式，从未发生过如此迅速的变化。
人们使用互联网的方式正在急剧变化。如今，每花一小时在网上搜索信息，只有 15 分钟是花在开放网络上的。随着用户转向由 AI 驱动的发现和消费，传统的搜索行为正在瓦解。用户不再需要访问多个网站来获取和比较信息，只需输入一个提示词，就能几乎立刻得到一个汇总好的答案。
智能体互联网已经到来
今年，智能体流量首次越过一个历史性门槛：互联网上超过 50% 的流量现在来自非人类。这一转变对出版商、内容所有者和开放网络的未来有着惊人的影响。
爬虫的用途变了
从 Cloudflare 按用途识别的爬虫来看，爬虫流量的构成清楚地说明了问题：
- 截至 2026 年 6 月，52% 的爬虫请求用于 AI 训练，而 2025 年春季这一比例为 22%。
- 混合用途爬虫（兼具搜索、智能体使用和训练）占活动量的 36% 以上。
- 纯搜索抓取如今只占爬虫总体活动的一小部分，且份额还在下降，尽管它对出版商的可见性仍然至关重要。
随着 AI 训练成为爬虫活动的主要驱动力，区分发现与训练的能力变得越来越重要。混合用途爬虫模糊了这一区别，让内容所有者陷入两难：要么在智能体时代保持可被发现，要么无偿交出自己最有价值的内容。
旧的商业模式已经消失
几十年来，开放网络的经济模式很简单：内容创作者向搜索引擎开放内容，换取可见性，搜索引擎则回馈引荐流量。这些流量成为出版商、创作者和企业创造经济价值的主要途径。
但如今，这种交换正在瓦解。内容仍在被抓取、索引和使用，却越来越少有相应的流量回到来源。随着 AI 系统直接回答问题、比较产品、开展研究并完成任务，开放网络上的信息越来越多地成为 AI 训练和检索系统的一部分。由此引出的生存问题很简单：如果内容在受众从未访问来源的情况下就被消费了，内容创作者要如何维持生计？
其影响与行业无关
最早感受到冲击的是新闻机构和媒体公司。如今，类似的态势正在影响零售、软件、IT 和金融等行业的企业。一些被抓取最频繁的类别，其人类流量在不到一年里就下降了多达 40%。
许多出版商现在正为他们所说的“Google Zero”做准备——一个几乎没有任何流量来自搜索引荐的世界。
这种影响基本上波及所有行业。任何在互联网上发布专有信息的组织，都需要弄清楚如何在智能体时代运营。这一态势不仅对内容所有者重要，对我们所有人都重要。互联网是全球经济的关键组成部分，也是世界上用于呈现信息的最重要的公共资源之一。确保它保持健康和可持续，对所有人都至关重要。
第二部分：市场已经出现
我们构建了什么
在推出内容独立日时，我们承诺了三件事：
- 为网站所有者提供透明度和控制权，让他们能够定义自己的内容如何被访问和变现。
- 提供能够制造稀缺性的工具，把权力的天平重新拨回内容所有者一侧。
- 建立一个市场，让各种规模的内容创作者和 AI 公司都能更高效地发现、授权内容并确定其价值。
一年后，内容变现的市场已经到来，一个充满活力的市场所需的条件正在形成。
透明度和控制权创造了稀缺性
长期以来，出版商对 AI 公司如何访问和使用其内容了解有限。随着引荐流量下滑，这种可见性的缺失变成了经济问题，促使出版商寻找获取价值的新途径。
Cloudflare 的归因、商业智能和执行工具，让出版商在网络层面看清了 AI 的消费情况——这种执行机制远比 robots.txt 这类自愿性标准有效。出版商第一次可以决定自己的内容如何被访问和变现。这种控制权创造了稀缺性，并催生了由供需驱动的内容经济。
稀缺性创造了筹码
成功掌控访问权限的出版商创造了稀缺性，这给了他们谈判筹码，从而谈成更好的交易。出版商第一次获得了运营方级别的归因数据——包括 LLM 多频繁地尝试访问其内容、哪些相互竞争的 LLM 在抓取、最受欢迎的 URL 是什么，以及抓取与引荐比例如何。这减少了授权谈判中的信息不对称，使出版商能够在掌握信息的基础上进行谈判。
筹码正在改变力量对比
这种筹码赋予了我们的客户力量。随着他们对 AI 系统如何访问和使用其内容有了更清晰的认识，他们更有能力理解其中对自身业务的影响，也更有底气阐明自己所建立的信息、品牌和受众的价值。
随着内容所有者与 AI 公司之间的力量对比开始变化，一种授权经济正在兴起：
- 自 2023 年以来，已签署 50 多项出版商与 AI 公司之间的协议。
- 大型 AI 公司如今积极授权内容，越来越认识到差异化和优质内容的价值。
- 集体授权模式不断涌现并扩大规模。
- 大型出版商正在达成有分量的授权协议，表明内容在 AI 生态中具有真实的经济价值。
现在的讨论已不再是内容是否应该获得补偿，而是如何补偿。
市场在走向成熟，但低效依然存在
早期的授权协议证明了需求的存在，但如今的授权仍然主要是定制化的，不太可能完全取代已经流失的引荐、广告和联盟营销收入。因此，出版商越来越多地在传统的人类发现之外，同时针对 AI 消费进行优化，并探索新的变现途径。
供需仍然难以高效匹配，虽然人们已经认识到并非所有内容价值相同，但内容估值仍未解决。
Google 的融合问题
谈到这个市场，就绕不开 Google 的特殊角色。Google 仍是在线发现的主导入口，占引荐流量的约 88%。但 Google 越来越多地帮助用户直接在 Google 自有的 AI 体验中消费内容。
发现与消费的目的有着根本区别。搜索把用户引向内容，而由 AI 驱动的体验越来越多地在无需用户访问来源的情况下对内容进行总结和复用。网站所有者对这两种行为的看法不同，因为一种会带来流量，而另一种则越来越多地在替代流量。
当网站所有者决定允许谁、出于什么目的访问其内容时，这些差异就变得尤为重要。大多数领先的 AI 公司会把发现类爬虫和训练类爬虫分开，因此出版商相对容易针对其中一种用途开放内容访问。Google 则不然。如今，Google 能访问的信息量约是领先 AI 公司的 2 倍，因为 Google 使用一个混合用途的机器人，客户很难做到只参与 Google 的搜索生态，而不同时参与其 AI 生态。
与其他 AI 提供商不同，Google 的混合用途爬虫还限制了网站所有者的透明度。由于发现和 AI 访问被合并到同一个爬虫中，出版商无法得知 Google 为何访问其内容，也无法区分用于搜索的流量和用于 AI 体验的流量。他们也失去了在网络层面分别允许或拦截这些活动所带来的可见性和证据。
这种态势加速了人们对更高透明度和控制权的需求，也加速了对新变现模式的需求，以便更好地服务于内容所有者和各种规模的 AI 公司。
第三部分：观察生态的独特视角
Cloudflare 处在新兴智能体经济的交汇点上。
超过 20% 的网络位于 Cloudflare 的网络之后。全球访问量最高的网站中，有 36% 依赖我们的网络，财富 500 强中有 40% 以上是 Cloudflare 的客户。领先的 AI 公司中，近 80% 使用 Cloudflare，此外还有成千上万的开发者和新兴 AI 公司。
这一独特位置让我们能够同时看到市场的两端：创作内容的内容所有者、消费内容的 AI 公司，以及日益把二者连接起来的信号。这一视角让我们对过去一年市场的演变及其当前需求有了独特的洞察。
第四部分：新兴市场的经验教训
随着出版商和 AI 公司适应新的智能体经济，Cloudflare 对生态当前的需求有了更清晰的认识。
透明度必须成为标准
内容所有者越来越需要了解并控制谁在访问其内容、如何使用以及出于什么目的。AI 公司也越来越认识到，透明度能建立信任并减少与出版商之间的摩擦。可见性和执行能力已不再只是安全问题——它们已成为直接影响授权谈判和商业决策的业务需求。
为推动透明度成为标准，Cloudflare 将继续投入于增强归因、度量和出版商控制能力，让内容所有者对其内容如何被访问和使用有更强的可见性和控制力。
随着行业朝着更高的透明度迈进，我们认为可验证的机器人自我标识和抓取意图声明，是可持续生态的基础。目前，我们网络上仍有超过三分之一的爬虫活动来自混合用途机器人，使内容所有者无法分辨抓取意图。我们正在积极与生态各方沟通，并投入工具建设，力争在明年此时把这一比例降到零。
更好的 AI 需要更好的信号
过去一年，越来越清楚的是，AI 公司需要的不只是对内容的访问权。它们还需要更好的方式来判断该访问什么、何时访问，以及内容变化得有多频繁。不加区分的抓取既浪费 AI 公司的算力，又给出版商带来不必要的带宽负担，降低了整个生态的效率。
我们认为，更好的答案需要更好的情报。我们正在投入建设实时新鲜度信号，并融入更丰富的信任、质量和相关性信息，帮助 AI 公司发现差异化的信息，同时减少全网不必要的抓取。
市场需要先有更好的发现，才有更好的定价
我们认为，更好的发现必须先于更好的定价。要让市场走向成熟，出版商和 AI 公司需要更好地了解彼此。我们正在投入建设更丰富的市场情报、内容信号传递，以及改善生态双方之间发现能力的功能，为日后更具扩展性的市场机制奠定基础。
第五部分：为智能体互联网构建基础设施
一年前，内容独立日提出了一个简单的想法：内容所有者应当对 AI 公司如何访问和使用其信息拥有更大的控制权。
过去十二个月里，这种控制权帮助催生了一个市场。透明度创造了稀缺性，稀缺性创造了筹码，筹码加速了授权。曾经关于 AI 与内容未来的理论讨论，已经变成一个活跃的市场，出版商、AI 公司和技术提供商都在适应一套新的经济现实。
市场现在正进入一个需要新基础设施的新阶段。随着互联网越来越智能体化，支撑它的底层系统必须演进，以便大规模处理权限、授权和商业交易。内容所有者和 AI 公司需要更高效的方式来连接并交换价值。我们相信，这些能力将汇聚成可编程、可扩展的内容发现与变现机制——在减少摩擦的同时，释放更丰富的价值交换形式。
Cloudflare 的角色，是构建基础设施和商业智能，并为相关标准做出贡献，让市场能够更高效地确定价值，帮助出版商和 AI 公司参与一个更健康、更有活力的内容经济。
互联网一直在演进。这一次的演进比大多数都更快、影响更深远。但我们相信，有了正确的基础设施、正确的激励机制和对透明度的承诺，智能体互联网可以变得更可持续、更高效，对每个人也更有益。
方法说明：本报告中的数据汇编自 Cloudflare Radar 和 Cloudflare 2026 年投资者日演示文稿。
Cloudflare Radar 是展示全球互联网流量、攻击和技术趋势与洞察的平台。Radar 由 Cloudflare 全球网络的数据驱动，旨在帮助任何人从安全、性能和使用情况的角度了解互联网上正在发生的事情。
Cloudflare 对互联网的独特理解来自其全球网络——全球最大的网络之一，覆盖 100 多个国家的 330 多个城市——以及来自 Cloudflare 1.1.1.1 公共 DNS 解析器的汇总匿名化数据，该解析器被广泛用作快速且私密的上网方式。超过 20% 的网络位于 Cloudflare 的网络之后。