从排名到推荐:让你的网站为AI代理时代做好准备

你的下一位客户可能不会通过搜索引擎找到你。相反,他们会询问AI助手:“我该怎么做X?”;“哪种选择最适合像我这样的人?”;“帮我处理一下”,然后一个代理会找到答案,权衡选项,并代表他们采取行动。越来越多地,决定客户是否选择你的时刻发生在模型的响应中——在人类看到你的主页之前。
这个代理受众已经存在:根据我们的统计,现在不到一半的HTML页面请求来自人类。并非所有这些机器都是代表个人行动的代理,但这一比例正在快速增长,答案引擎、购物助手和研究工具将塑造哪些企业被发现和推荐。可发现性曾经意味着在结果页面上排名。现在,它意味着被引导你客户的代理发现、阅读并自信地推荐。
旧的指标,人类点击和页面浏览量,不再能描绘全貌。我们花时间与网站所有者交谈,他们盯着充满AI机器人的访问日志,完全不知道这些机器人是否能够使用他们的网站或向用户推荐他们的产品和服务。我们听到了两个主要问题:
- 代理真的能使用我的网站吗?
- 我会被推荐吗?
为了帮助网站所有者回答这些问题,我们将我们之前关于代理就绪性的工作集成到Cloudflare仪表板中,并添加了新的答案引擎优化(AEO)工具。这些工具将代理视为你网站的核心用户群,向你展示代理将如何看待它,以及你被推荐的频率。
机会很大,门槛很低,因为大多数网站还没有为这种用户构建。正如早期的SEO奖励那些为搜索引擎构建的网站一样,现在为代理构建的网站将获得回报。那些易于找到、阅读和信任的网站将是代理推荐的网站。
诊断:你的网站为代理准备好了吗?
诊断是代理就绪性中的技术检查。它像代理阅读你的网站一样扫描你的网站:它确定是否允许进入以及是否能够发现你的内容,获取干净的机器可读副本,并找到它可以调用的接口。
虽然一个人只是加载你的主页,但代理依赖你的robots.txt、你的站点地图、你的响应头、你的内容的Markdown版本以及用于身份验证和工具的已发布元数据。

诊断针对主机名运行这些检查,并将结果汇总为单一的代理就绪性视图,从“未就绪”到完全代理原生。每项检查返回通过、失败或中性,并附有说明其重要性的注释,以及显示我们看到的精确请求和响应的证据轨迹。
检查按工作量分组,因此你知道从哪里开始:
- 快速见效:大多数网站缺失的高影响力基础项,包括爬虫可读的 robots.txt、XML 站点地图、AI 爬虫规则,以及向代理提供干净的 Markdown
- 技术基础:下一层,包括声明您的内容如何使用的内容信号、API 目录、链接头,以及代理登录说明
- 高级集成:代理原生功能,包括 OAuth 发现、MCP(模型上下文协议)和 A2A(代理间)代理卡片、技能索引、Web 机器人认证和 WebMCP
- 商务:新兴的代理支付标准,包括 (经典 HTTP 402 付款要求状态码的扩展)、ACP(代理商务协议)、通用商务协议(UCP)和 AP2(代理支付协议)。目前仅供参考,不计入您的分数。x402

每项建议的改进都附有下一步操作。当有 Cloudflare 功能可以提供帮助时,会有“在 Cloudflare 中设置”的链接直接指向该设置,例如启用 Markdown for Agents 或托管 robots.txt。对于其他所有情况,都有一个“复制代理提示”按钮,它会建议您的编码代理需要构建的内容。进行更改,重新扫描,然后看着勾号变绿。
AEO:AI 助手是否在推荐您?
诊断功能告诉您代理能否读取您的网站。AEO 选项卡告诉您接下来会发生什么:当客户向 AI 助手询问您所在类别的问题时,它会推荐您还是竞争对手?您无法像搜索排名那样查询这一点。没有展示次数,也没有漏点报告,因此当竞争对手被点名而不是您时,销售机会就消失了,而没有任何信息告诉您发生了什么。

我们从您的网站推断出您的行业(例如健康与健身)和类别(例如运动服装),并使用可能的客户提示来探测领先的助手(目前是 Anthropic 的 Claude 和 OpenAI 的 GPT),以观察它们如何响应。我们构建这些提示以模拟现实世界的发现,在您的类别内询问推荐、产品比较和一般建议。通过观察模型如何回答这些真实查询,您可以得到以下指标:
引用率: 在您的类别中,引用您的网站作为来源的回答所占的比例突出度: 当您被引用时,回答中实际属于您的内容有多少,以及它出现得有多早提及率: 助手在回答中提及您品牌的频率——例如,无论是否引用 cloudflare.com 作为来源,“Cloudflare”在响应中出现的频率。与您的引用率一起阅读,可以将知名度与归因区分开来:助手提及您的次数远多于引用您的次数,意味着您已在它们的雷达上,但尚未赢得引用——这是一个具体、可针对的差距。声量份额: 您的引用与竞争对手引用的比例,这样您就可以看到谁在赢得您正在输掉的提示
为了评估 AI 模型如何看待您的市场存在,我们在对特定网站评分之前,会在每个行业和类别中构建一个基准。我们使用该类别中可能的提示查询 AI 助手——不指定您的品牌——并记录哪些网站被引用、它们出现在哪里,以及它们的突出程度。
与其每次站点所有者运行扫描时都重新查询模型,我们按类别运行一次此面板,并在该域中的所有账户中复用基线。预计算此数据集有三个主要好处:
零延迟:结果从快照即时加载,而不是等待实时模型查询。更低的计算开销:在类别级别聚合查询避免了数千次扫描中的冗余 AI 调用。行业契合度评分:复用面板语料库使我们能够映射哪些品牌经常一起出现,从而得出行业契合度评分,衡量 AI 助手是否将您的网站与您的实际竞争对手一起看待。
AI 助手很少以完全相同的方式回答同一个问题。为了考虑这种差异,我们使用 Cloudflare AI Gateway 跨不同模型多次提示每个助手。然后,我们读取客户会看到的响应——答案文本以及每个助手引用的来源——并从中提取多个信号。
我们不仅评估您的网站是否被提及,还评估您是否被引用为来源、您的引用在答案中出现的多早,以及最终答案中有多少实质内容归因于您。在需要真正判断的地方,Workers AI 承担繁重的工作,在我们自己的基础设施上原生运行,以读取每个回复并评分您的引用和提及的出现方式。我们还使用精确文本分析,而不是让模型评估自己的输出。总之,这将数十个一次性回复折叠为可操作的指标。通过抽象多模型查询和评估管道,该工具提供指标,而无需您构建自己的评估框架。

除了答案之外,AI 操作员活动显示您网站上每个操作员(OpenAI、Google 等)的真实爬取和推荐流量:谁阅读您的内容,谁将访问者送回,以及他们在途中遇到的错误(403 被阻止,404 死链)。值得采取行动的模式是爬取您数千个页面但不推荐任何人的操作员,使用您的作品而不将客户送回。
由于这些数字特定于您的网站,您可以进行实验、重新运行扫描,并衡量对为您带来业务的确切问题的影响。

认识您的另一类受众
到目前为止,评估代理意味着猜测:通过 grep 日志来推断谁访问了,或者向聊天机器人提供提示并目测它是否提到了您。但是,借助 Agent Readiness 和 AEO,您可以获得所需的数据来采取行动。而且,由于请求实际上通过 Cloudflare,这些工具在可能的情况下进行测量而不是估计,并将随着时间的推移而改进。
帮助您了解谁在访问您的网站并决定如何按照自己的方式参与,这是我们一直以来的工作。代理只是最新的受众,而那些让代理易于找到、理解和信任的企业才是被推荐的企业。Agent Readiness 是您了解自己是否属于其中之一的地方,以及如果不是,该怎么做。
准备好了解 AI 代理是否正在将客户引向您了吗?前往仪表板中的“概览”选项卡,让您的网站做好 Agent Ready 准备,并请求提前访问 AEO Visibility。
基于开放、智能体就绪的网络?打开 Cloudflare 仪表板中的“智能体就绪”选项卡,并在 Cloudflare 开发者 Discord 上告诉我们您正在构建什么。
