Cloudflare 与 OpenAI：让每个人都能更好地发现 AI
如果 AI 找不到你的网站，那么为 AI 优化网站就几乎毫无用处。某人问题的答案可能早已存在于你的网站上：你花了一周时间编写的安装指南，或者一篇关于使用某款产品的第一手记述，其中的细节决定了他们是否会购买它。随着越来越多的人转向 AI 寻求帮助，你希望这些系统能够找到你的作品、准确地呈现它，并把感兴趣的人引向你的方向。你还希望控制它们访问你网站的方式。
Cloudflare 和 OpenAI 于 2026 年 7 月启动了一项研究试点，正是出于这些考虑。我们想弄清楚，来自 Cloudflare 网络的信号是否能帮助 ChatGPT 用户更高效地发现新内容。
今天，我们分享早期结果。到目前为止，答案是响亮的“是”：该试点将此前未知的页面带入了 OpenAI 的搜索索引，为 ChatGPT 提供了更多可用来帮助人们找到相关、及时信息的来源。在此过程中，我们对什么样的页面值得被发现，以及 AI 系统如何使用网络，有了更多了解。
发现更多网络内容
网络中充满了具体信息。修理洗衣机的人需要其确切型号的手册。申请护照的人需要当前的要求和费用。选择本地餐厅的人需要其最新菜单和营业时间。找到正确的页面，可能决定了答案是错误的还是真正有帮助的。即使其他网站很少链接到这些页面，它们也可能很有价值。
在上一代网络中，可发现性意味着要出现在搜索结果页的顶部。之后，由访问你页面的用户来判断信息的价值、预订那张桌子、申请那本护照。随着人们越来越依赖 AI 来查找信息和完成任务，可发现性以新的方式变得重要。AI 系统需要找到正确的来源、理解什么是有用的，并将人们与相关信息连接起来——无论是通过一个答案、一条引用，还是对网站本身的一次访问。
Cloudflare 的网络提供的信号可以帮助 OpenAI 的搜索爬虫发现网络中更多有用的页面，以呈现给 ChatGPT 用户。随后，OpenAI 会根据这些页面的相关性和有用程度，独立评估并排列它们的呈现方式。两者结合，形成了一个反馈循环，可以同时改善发现过程以及人们所找到信息的质量。
这项联合试点使用了 Cloudflare 整个网络中约 1% 的参与队列，使 OpenAI 得以发现并索引数亿个新网页，帮助人们发现更多有用的内容，并通过 ChatGPT 让更多问题得到解答。通过链接回相关来源，ChatGPT Search 还为人们提供了一种探索原始内容并发现其背后网站和出版商的途径。
借助 GPT-6 和智能 UI，OpenAI 还让 ChatGPT 成为一个更适合购物、学习和寻找答案的地方，提供更多根据人们需求量身定制的视觉化、互动式体验。这项工作通过帮助 ChatGPT 从整个网络中发现更多有用、最新的信息，对这些进展形成了补充。
从发现到有用的答案
找到一个 URL 只是开始。我们需要知道它是否指向一个有人可以访问的页面，那个页面是否提供了任何独特的内容，以及它可能帮助人们做什么。
例如，我们已经了解到，自动化流量可以多么轻易地让一个不存在的页面看起来很有趣。机器人会反复请求并不存在的文件。有些网站会把几乎任何地址都重定向到它们的首页。其他地址则指向相同内容的副本。识别这些模式让我们能够在爬虫抓取页面之前减少无用功，并以有利于网站所有者的方式提高效率。
我们还在测试用于识别和标记潜在有害页面的信号，增加另一层信息以支持更安全、更可靠的发现。一个合法网站可能有一个被入侵的页面，例如攻击者植入的虚假登录表单。标记那一个页面，而不是整个域名，可以在不惩罚网站所有者的情况下保护人们安全。早期结果表明，这些信号有助于识别应当被排除在索引之外的页面。
让发现更容易
随着越来越多的人使用 AI 来发现信息，网站所有者有了接触感兴趣受众的新机会。对于那些选择将其内容提供给 AI 系统的人来说，这些改进让发现变得更容易、更高效。
通过更频繁地抓取每个页面来跟上变化，对每个人来说都会代价高昂。对网站所有者来说，一个反复下载未更改页面的爬虫只会增加负载，却不会带来任何好处。
上述信号就是我们避免这种情况的方式。过滤会让爬虫远离不存在的页面或重定向到别处的页面。变更信号会告诉它们一个页面何时值得再次访问，以及何时不值得。
需要把握好一种平衡。发现新页面最初可能会随着这些页面被评估和索引而增加抓取。目标是持续发现并保持最新，同时减少所需的工作量。对 Cloudflare 客户来说，这意味着更少的不必要负载。对 OpenAI 来说，这意味着其更多搜索资源被用于帮助人们的信息。
让参与变得值得
下一阶段将建立在我们已经学到的东西之上：改进页面选择，测试更快、更可靠的变更信号，并衡量内容被发现之后会发生什么。
我们正在继续与 OpenAI 合作，以了解更好的网站发现如何转化为真实的业务成果，我们也会继续分享一路上的所学。
域名所有者的选择始终很重要。关于某个页面的信号并不授予访问它的许可。这项研究使用关于网络的元数据来进行搜索和发现，而不是分享页面内容用于模型训练。
你可以使用 Cloudflare 的 AI Crawl Control 来了解并管理 AI 系统如何访问你的网站。
