搜索驱动着 Web 上的大多数体验。我们靠它办成事情，Web 上几乎一切也都靠它被发现：创作者、商家，以及你刚在搜索框里输入的问题的答案。近 30 年来，这条发现之路建立在一个简单的交易之上：让搜索引擎抓取你的内容，它就会给你带来访客。你把这些访客变成了生意，无论是通过广告、订阅，还是仅仅靠受众本身。可被发现与获得收益曾经是一回事。一年前，在首个 Content Independence Day，我们划下一条线，以便在 AI 时代捍卫这一交易。但划线只是第一步。此后，AI 搜索在消费者生活中的普及只增不减，因为网上超过 50% 的流量并非来自人类。威胁不再只是少数几个可以屏蔽的训练爬虫，而是搜索本身正围绕 AI 答案被重建。
如今的答案引擎会读取你的页面，然后把摘要交给用户，于是这次访问，以及依赖它的收入，就变得不再必要。我们亲眼见证了这一点，独立研究也予以印证：皮尤研究中心 2025 年的一项研究发现，当 Google 显示 AI 摘要时，用户只有 8% 的时候会点击传统搜索结果链接（约为没有摘要时的一半），而点击摘要内链接的比例仅为 1%。这让我们的客户陷入两难：要么选择退出 AI 而难以被找到，要么选择加入，为用户创造可观的价值却看到越来越少的回报。我们的客户希望既能被找到，又能因所提供的价值获得报酬，而眼下他们被迫二选一。
今天，我们宣布了新的机器人选项，帮助客户更好地控制谁可以访问他们的网站，以及可以用它做什么。但屏蔽只是第一步：说“不”能保护内容，却没有重建维系内容的商业模式。因此，是时候开始构建互联网的新经济模型了，而且从搜索入手。
重建这份交易
透明和控制是基础，但还需要更多。2025 年，我们通过一套负责任的 AI 机器人原则奠定了基础：机器人应当对自己是谁、为何而来保持透明，尊重站点所有者的选择，并秉持善意行事。我们的工具让机器人达到这一标准。但是，约束机器人的良好行为并不会让依赖 AI 搜索的人获得更好的体验，也不会给让答案成为可能的创作者带来一分钱回报。我们能做的不止是帮助 Web 说“不”，还可以帮助重建它所说“是”的对象。
因此今天，我们宣布两项举措，从防守转向进攻，开始把那份旧交易的两半重新拼合起来。
让 AI 搜索更智能：借助我们在全球网络中看到的信号，例如哪些内容新鲜、哪些内容优质、哪些内容真正发生了变化，我们可以帮助答案引擎呈现最相关的内容，并减少不必要的抓取。搜索的人获得更好的答案；而如果网页只在发生变化时才被重新抓取，AI 公司和站点所有者的成本都会降低。
为创作者提供的价值付费：当你的作品被用来回答某人的问题时，你应当得到回报，而不是被白白抓取。你还应该能看到哪些内容被使用了，以及人们在问什么。这应该成为真正的收入来源，并激励大家持续产出值得被发现的原创内容。
让搜索更智能
今天我们启动一项研究计划，让 AI 搜索更智能，并避免让客户为那些没有产出任何新内容的抓取买单。
超过 20% 的 Web 位于 Cloudflare 的网络之后，这给了我们独特的视角。我们能分辨哪些页面真正发生了变化，哪些页面是人和智能体都蜂拥而至的。通过这项计划，我们将探索使用客户自愿分享的内容新鲜度信号，并将其与我们自己对人类和机器人流量走向的洞察相结合。对答案引擎而言，这是一份通往高质量内容的路线图；对我们的客户而言，则可以看到用户实际在问什么，以及他们的内容如何出现在 AI 结果中。目标是衡量两件事：这些信号在多大程度上帮助答案引擎呈现更新鲜、质量更高的内容，以及能减少多少不必要的抓取。
第二项收益，也就是减少不必要的抓取，意义比听上去更大。Cloudflare 的数据显示，来自良性机器人的抓取流量中，超过 50% 用于重新获取没有变化的页面，而且随着抓取量增长，这个比例很可能还会攀升。一个只说“这里什么都没变”的信号，就能让爬虫省下这趟行程。这为答案引擎节省了算力。更重要的是，它让站点所有者不必为本无必要的请求提供服务并为此买单。
该计划在设计上保持中立：我们的目标是让它适用于每一个愿意公平竞争的答案引擎。它仅限于搜索。我们不会分享任何内容，也不会将任何内容用于训练基础模型。我们打算发布所学到的成果，包括对站点所有者的好处，例如更好的内容可发现性和更低的服务器压力。我们计划在今年晚些时候广泛开放这项能力，并在我们的整个网络中减少不必要的抓取。
从按抓取付费到按使用付费
去年我们推出了 Pay Per Crawl，让出版商可以向 AI 公司收取抓取其内容的费用。这是一个真正的开端，但抓取是衡量价值的粗糙方式。一个页面可能只被抓取一次，却在成千上万个答案中被引用；也可能被反复抓取，却从未被使用。创作者希望因其提供的价值而获得公平的报酬。
因此我们开始把 Pay Per Crawl 塑造成 Pay Per Use。我们正与 Ceramic.ai 和 You.com 等顶尖 AI 公司开展实验，安排很简单：各家机构可以带来自己的支付模式，并轻松地将其扩展到 Cloudflare 网络上的内容所有者。
Ceramic 构建了他们所说的“按查询付费”模式，选择加入的出版商可以在其内容出现在 Ceramic 的搜索结果中时获得报酬。这意味着付费的设计是跟随作品所带来的价值，而不是爬虫恰好抓取它的次数。
“要让 AI 搜索的未来实现规模化，我们需要一个拥有巨大覆盖面、并共同致力于透明和公平补偿的合作伙伴，”Ceramic.ai 创始人兼 CEO Anna Patterson 表示。“Cloudflare 让我们能够轻松地以编程方式扩展业务。将我们的按查询付费模式引入他们的网络，我们就能确保数以百万计的内容所有者无缝选择加入，每当其内容出现在我们的搜索结果中时都能获得报酬。”
除了报酬之外，参与 Cloudflare/Ceramic 计划的内容所有者还将解锁新的报表，帮助进行答案引擎优化（AEO）。客户终于可以看到哪些热门查询使其内容出现在搜索结果中、具体的网页和片段、平均搜索结果排名位置等等。这是我们将推出的众多帮助客户提升可发现性的产品中的第一个。
这只是众多新兴方式之一。另一种来自 You.com：智能体可以按需为自己所需的特定优质内容付费，而无需任何预先承诺。AI 提供商的新支付模式正在测试中（例如按查询付费、按结果付费等），我们有基础设施来支持所有这些模式。
我们想坦诚地说，这是一次实验。有很多东西需要学习，包括它在互联网规模下究竟能否站得住脚。我们会在推进过程中与合作伙伴和客户一起摸索，并分享所学。但目标是明确的：AI 搜索公司获得更新鲜、依据更扎实的答案，而其作品让这些答案成为可能的客户，则在作出贡献时获得报酬。Cloudflare 在其中的职责，是提供让这个市场繁荣起来的基础设施层。
我们认为，这更符合搜索经济走向的自然趋势。过去由人类主导的 Web 优化搜索是为了节省时间：提供摘录、十条蓝色链接和一次点击。智能体互联网则不同：智能体可以快速阅读、持续搜索。搜索正在变成智能体为回答一个问题而执行几十次的操作，更像一种公用设施而非目的地。在那样的世界里，重要的单位不是抓取或点击，而是结果。为结果定价，并向让结果成为可能的人付费，正是 Web 继续繁荣的方式。
我们想赢得的头条
一年前的 Content Independence Day，头条是一个默认的“不”：未经补偿，AI 不得抓取。今年，我们的重点是为用户提供更多产品和控制手段来说“是”，并随之带来更多益处。
今天的发布只是开始。Cloudflare 的研究项目旨在检验我们的信号能否以更少的抓取带来更好的结果。Pay Per Use 是一个有前景的方向，我们将与那些相信内容创作者的作品理应获得公平补偿的合作伙伴一起实验。过去 30 年的 Web 也是这样建立起来的：总有人先做试点，把“模式坏了”变成“这是新模式”，一次实验接着一次实验。我们相信，在这个新的智能体时代，让内容可被发现、并为获得最大程度的发现而优化内容，对我们的客户是有价值的。但他们应该能够做到这一点，而不必把最有价值的创作资产白白送出。
Web 正在变化，它所依赖的商业模式也随之变化。旧的互联网是开放、中立、值得贡献的。我们有难得的机会让它保持如此，并构建在未来为其提供资金的商业模式：为提问的人类和智能体提供更智能的答案；为那些以技艺、创造力和投入让答案有价值的人提供公平的交易。这正是我们践行 Cloudflare 使命的方式：帮助构建更好的互联网。
Content Independence Day 快乐！
正在开放、对智能体友好的 Web 上构建？如果你有兴趣了解 Ceramic 和 You 的计划，请填写这份表单。如果你正在构建答案引擎并希望更智能地抓取，我们也很乐意听到你的想法：aeo@cloudflare.com。
