搜索驱动着网络上的大多数体验。它是我们完成任务的方式，也是网络上几乎所有事物被发现的方式——创作者、商家，以及你刚刚在搜索框里输入的任何问题的答案。近30年来，这种发现之旅建立在一个简单的交易上：让搜索引擎抓取你的内容，它就会给你带来访客。你通过广告、订阅或仅仅是受众本身，将这些访客转化为业务。可被发现和获得报酬是一回事。一年前，在第一个内容独立日，我们划下了一条界线，以捍卫AI时代的这一交易。但沙中划线只是第一步。自那以后，AI搜索在消费者生活中的普及只增不减，因为超过50%的网络流量是非人类的。威胁不再是你能够屏蔽的少数训练爬虫；而是搜索本身正在围绕AI答案重建。
如今的答案引擎读取你的页面，然后向用户提供一个摘要，因此访问——以及依赖访问的收入——就不再需要了。我们亲眼目睹，独立研究也证实了这一点：2025年皮尤研究中心的一项研究发现，当谷歌显示AI摘要时，用户点击传统搜索结果链接的比例仅为8%（约为没有摘要时的一半），而点击摘要内链接的比例仅为1%。这让我们的客户陷入两难：选择退出AI，就难以被发现；选择加入，则为用户提供了巨大价值，却回报日益减少。我们的客户希望因其提供的价值而被发现并获得补偿，但现在他们被迫做出选择。
今天，我们宣布了新的机器人选项，以帮助我们的客户更好地控制谁能访问他们的网站以及他们能做什么。但屏蔽只是第一步：说“不”可以保护内容，却无法重建支撑内容的商业模式。因此，是时候开始构建互联网的新经济模式了，从搜索开始。
透明度和控制是基础，但还需要更多。2025年，我们通过一套负责任的AI机器人原则奠定了这一基础：机器人应透明地表明身份和用途，尊重网站所有者的选择，并诚信行事。我们的工具让机器人达到这一标准。但强制执行良好的机器人行为并不能让依赖AI搜索的人获得更好的体验，也无法将一分钱返还给那些作品使答案成为可能的创作者。我们不仅能帮助网络说“不”，还能帮助重建它说“是”的内容。
因此，今天，我们宣布两项举措，从防御转向进攻，并开始将旧交易的两半重新结合起来。
让AI搜索更智能：通过利用我们在全球网络中看到的信号，比如哪些内容新鲜、高质量、实际发生了变化，我们可以帮助答案引擎呈现最相关的内容，并减少不必要的爬取。搜索者获得更好的答案，同时如果网页仅在发生变化时才被重新爬取，AI公司和网站所有者的成本都会降低。
为创作者提供的价值付费：当你的作品被用来回答某人的问题时，你应该得到回报，而不是被免费抓取。而且你应该能够看到哪些内容被使用以及人们在问什么。这应该是一个真正的收入来源，也是继续创作值得发现的原创内容的动力。
今天，我们启动了一项研究计划，旨在让 AI 搜索更智能，并避免客户为那些没有产生任何新内容的爬取而买单。
超过 20% 的网站运行在 Cloudflare 的网络之上，这赋予了我们独特的视角。我们可以判断哪些页面真正发生了变化，以及哪些页面吸引了大量用户和代理的访问。通过这项计划，我们将探索利用客户选择分享的关于其内容新鲜度的信号，并将这些信号与我们自身对流量（包括人类和机器人）的洞察相结合。对于答案引擎来说，这相当于一张通往高质量内容的地图。对于我们的客户而言，它提供了用户实际在询问什么，以及他们的内容如何在 AI 结果中呈现的视图。目标是衡量两件事：这些信号在多大程度上帮助答案引擎呈现更新、更高质量的内容，以及它们减少了多少不必要的爬取。
第二个好处——减少不必要的爬取——比听起来更重要。Cloudflare 的数据表明，来自良性机器人的爬取流量中，超过 50% 用于重新获取未发生变化的页面——而且随着爬取量的增加，这个数字可能还会上升。一个简单的“这里没有变化”的信号就能让爬虫跳过这次访问。这为答案引擎节省了计算资源。更重要的是，它让网站所有者免于提供和支付他们从未需要的请求。
该计划在设计上是中立的：我们的目标是让每个愿意公平竞争的答案引擎都能使用它。它仅限于搜索。我们不会分享任何内容，也不会用于训练基础模型。我们打算公布我们的发现，包括对网站所有者的好处，例如更好的内容可发现性和减少的服务器压力。我们计划在今年晚些时候广泛提供这一能力，并减少我们网络上的不必要爬取。
从按爬取付费到按使用付费
去年，我们推出了按爬取付费，以便发布商可以向 AI 公司收取爬取其内容的费用。这是一个真正的开始，但爬取是一种粗略的价值衡量标准。一个页面可能只被爬取一次，却在数千个答案中被引用，或者被反复爬取却从未被使用。创作者希望因其提供的价值而获得公平的报酬。
因此，我们开始将按爬取付费转变为按使用付费。我们正在与顶级 AI 公司（如 Ceramic.ai 和 You.com）进行实验，安排很简单：组织可以带来他们的支付模式，并轻松地将其扩展到 Cloudflare 网络上的内容所有者。
Ceramic 构建了所谓的“按查询付费”模式，因此选择加入的发布商可以在其内容出现在 Ceramic 的搜索结果中时获得报酬。这意味着支付旨在跟随作品所交付的价值，而不是爬虫碰巧获取它的次数。
“为了扩展 AI 搜索的未来，我们需要一个拥有广泛覆盖范围且共同致力于透明和公平补偿的合作伙伴，”Ceramic.ai 的创始人兼首席执行官 Anna Patterson 表示。“Cloudflare 使我们能够轻松地以编程方式扩展我们的运营。通过将我们的按查询付费模式引入他们的网络，我们确保数百万内容所有者可以无缝选择加入，并在其内容每次出现在我们的搜索结果中时获得补偿。”
除了补偿外，参与 Cloudflare/Ceramic 计划的内容所有者还将解锁新的报告功能，以帮助进行答案引擎优化（AEO）。客户终于可以看到导致其内容出现在搜索结果中的热门查询、具体的网页和摘要、平均搜索结果排名位置等。这是我们为帮助客户提高可发现性而推出的众多产品中的第一个。
这只是其中一种新兴方法。另一种来自 You.com：代理可以按需付费获取所需的特定优质内容，无需任何前期承诺。AI 提供商正在测试新的支付模式（例如，按查询付费、按结果付费等），我们有基础设施来支持所有这些模式。
我们想坦诚地说，这是一个实验。有很多东西需要学习，包括它在互联网规模下究竟如何运作。我们将与合作伙伴和客户一起逐步解决这些问题，并分享我们的经验。但目标很明确：AI 搜索公司获得更新、更有依据的答案，而让答案成为可能的客户在提供帮助时获得报酬。Cloudflare 在此过程中的职责是提供使这个市场蓬勃发展的基础设施层。
我们认为这更符合搜索经济学的未来走向。旧的、人工优化的网络搜索旨在节省时间——提供摘要、十个蓝色链接和一次点击。代理互联网则不同：代理可以快速阅读并持续搜索。搜索正在成为代理回答单个问题而执行数十次的操作，更像是一种实用工具而非目的地。在那个世界里，重要的单位不是爬取或点击，而是结果。为结果定价，并回报使之成为可能的人，是网络持续繁荣的方式。
我们想要赢得的头条
一年前的“内容独立日”，头条是默认的“不”：AI 未经补偿不得爬取。今年，我们的重点是给用户更多产品和控制权来说“是”，并带来更多好处。
今天的公告只是开始。Cloudflare 的研究项目旨在测试我们的信号是否能在减少爬取的情况下产生更好的结果。按使用付费是一个有前景的方向，我们将与相信内容创作者应获得公平报酬的合作伙伴一起进行实验。过去 30 年的网络也是这么建成的：有人进行试点，将“模式已崩溃”变成“这是新模式”，一次一个实验。我们相信，在这个新的代理时代，让客户的内容可被发现，并优化内容以实现最大程度的发现，是有价值的。但他们应该能够在不免费赠送最宝贵的创意资产的情况下做到这一点。
网络正在变化，它所依赖的商业模式也随之变化。旧的互联网是开放、中立、值得贡献的。我们有一个难得的机会来保持这种状态，并建立未来为其提供资金的商业模式。为人类和代理提出的问题提供更智能的答案。为那些技能、创造力和承诺使答案有价值的人提供公平的交易。这就是我们追求 Cloudflare 使命的方式：帮助建设更好的互联网。
内容独立日快乐！
基于开放、面向代理的网络？如果您有兴趣了解更多关于 Ceramic 和 You 项目的信息，请填写 此表格。如果您正在构建答案引擎并希望更智能地爬取，我们也期待您的来信：[email protected]。