原创内容是交流与好奇心的命脉。试想一个没有原创内容的世界：我们可以用上千种方式反复复述已有的素材，却只会眼看着新想法和新论点日渐凋零。
网站所有者为想法、新闻和有趣的内容提供养料，滋养着整个生态，但他们面临的挑战日益复杂：既要管理流向网站的流量，又要让自己的内容获得回报。有些机器人流量显然是恶意的，但某个特定的 AI 爬虫究竟是在帮助还是在损害你的业务，并不总是一目了然。要回答这个问题，站点所有者需要细粒度且可靠的数据，来区分哪些流量带来价值，哪些流量既消耗资源，又在侵蚀其商业模式的根基：真实的人类来阅读他们的内容。
在 Cloudflare，我们有一个核心信念：网站所有者有权控制对其内容的访问。我们希望帮助网站所有者守护其高质量内容，并管控 AI 流量。
为了提供亟需的清晰度，并帮助网站所有者掌握主动权，我们很高兴地宣布推出全新的 Attribution Business Insights 仪表板，它专为业务决策者和出版商设计。
互联网的新经济学
几十年来，互联网的商业模式建立在一个简单而不言自明的约定之上：网站所有者允许搜索引擎抓取其内容，作为回报，搜索引擎把读者送回他们的页面。在这种共生关系中，传统搜索引擎保持着较为均衡的“抓取与引荐比”，产生了支撑广告、联盟营销收入和订阅所需的页面浏览量。搜索索引爬虫每送来一次引荐，大约会扫描你的内容几次，因此让网站对爬虫开放，有一条通往额外收入的清晰路径。我们可以把这看作 SEO（搜索引擎优化，Search Engine Optimization）时代。
如今，AI 爬虫和智能体的爆发式增长打破了这一约定，把数字出版行业推入前所未有的危机。互联网正面临向“零点击”生态转变的风险：AI 聊天机器人抓取原创内容，合成即时答案，完全绕过原始来源。我们已经看到，世界从只有 SEO 明显转向了 AEO（答案引擎优化，Answer Engine Optimization），而现在，围绕 GEO（生成式引擎优化，Generative Engine Optimization）的讨论正成为焦点。
如今互联网上的抓取与引荐比清楚地表明了这一新现实的失衡。传统搜索引擎的抓取量与引荐来的真实访客之间比例相对均衡，而主要 AI 爬虫的运作规模则截然不同，带有明显的攫取性。我们观察到，头部 AI 公司的机器人抓取与引荐比各不相同：在2025 年内容独立日（Content Independence Day）前后，我们记录到的比例从 118:1 到接近 50,000:1。换句话说，一个 AI 爬虫可能抓取了你的优质内容数万次，却只送回一位访客。这样的比例从根本上就是不公平的。
对出版商来说，这意味着双重打击：其一，他们失去了关键的引荐流量、广告展示和直接的受众关系，而这些正是内容创作和新闻业的资金来源；其二，他们被迫承担越来越高的基础设施成本，为那些不提供任何商业回报的自动化机器人托管并提供内容。寄希望于被发现而允许所有爬虫进入的时代已经结束。
Attribution Business Insights 介绍
我们希望网站所有者掌握事实，也就是冷冰冰的硬数据，以了解哪些机器人在帮助他们的业务，哪些在损害。我们还希望让这种分析比以往更轻松，因此我们把 Attribution Business Insights 设计为去除噪声，聚焦客户告诉我们最重要的细节。
今天，Attribution Business Insights 仪表板向所有 Cloudflare Bot Management 客户开放。这个新仪表板旨在提供流向你网站的机器人流量的针对性视图；与可能需要大量手动筛选的传统分析工具不同，它能让你立即获得关键洞察。
我们着手回答当今站点所有者最迫切的问题：你该如何看待网站上的 AI 流量？不同受众（包括人类、非 AI 机器人和 AI 机器人）的价值分别是什么？最重要的是，你的数据被用来做什么？
全新的 Attribution Business Insights 仪表板视图，包含机器人流量的整体洞察、全站抓取与引荐比，以及 AI 机器人流量与自然流量的分布。
为回答这些问题，仪表板展示了一系列强大的数据与洞察：
- 内容页面的机器人流量：查看整体的机器人与人类流量对比，以及成功访问内容的所有机器人的流量规模。
- 抓取与引荐比：可按 24 小时、7 天或 30 天为尺度查看全站抓取与引荐比。你也可以查看按机器人运营方（即拥有一个或多个机器人的公司）划分的抓取与引荐比。
- 热门机器人明细：按流量排序的头部机器人列表，包括其来源国家、占用你网站的带宽，以及你当前是在拦截还是放行它们。
- 基于爬虫行为的更新分类：我们不再只给出笼统的“AI 爬虫”标签，而是用更新后的分类体系对爬虫进行归类：训练（Training，即训练下一版 LLM 聊天机器人）、搜索（Search，即为检索增强生成刷新数据库），或智能体（Agent，即用于智能体交互，向终端用户返回答案）。
从数据到业务策略
你不必成为安全专家，也能理解 AI 爬虫如何影响你的业务。网站所有者只需花几分钟了解高层次的洞察，就能清楚地掌握其内容安全策略的有效程度。
对于那些希望深入一些，了解 AI 公司如何使用其内容，或收集信息以指导自己与 AI 公司的关系如何发展的人，我们提供了按机器人运营方组织的更细粒度视图。
网站上机器人活动的明细，列出每个机器人的重要信息，如类型、抓取与引荐比和当前处理动作。
通过统一查看所有试图访问你网站内容的公司，你可以建立更好的爬虫活动基线。我们希望这些数据能让客户带着事实走进任何商务谈判。告诉 Company1，它的抓取量是 Company4 的二十倍，而 Company4 已经在为内容向你付费。根据 Company2 近期的活动，重新审视它对你内容的授权方式。这个新仪表板能推动商务对话向前发展。
这一层新的可见性如何与你现有的网站防滥用工具结合？与 Bot Management 的其他功能一致，处置步骤仍然在安全规则（Security rules）中完成。为避免给控制平面增加噪声，Attribution Business Insights 定位为经过深思熟虑、已筛选的分析枢纽，而不是又一个执行处置的地方。这个仪表板是核心信息来源，让你先调查，再在管控其他滥用缓解措施的同一规则引擎中采取行动。我们也要明确强调，欢迎业务决策者使用这个仪表板，因为围绕 AI 流量的讨论涉及的相关方，远不止专职安全人员。
下一步
Attribution Business Insights 仪表板是又一关键步骤，为网站所有者提供应对不断演变的 AI 机器人威胁所需的透明度和控制力，更广泛地说，也有助于塑造互联网的新格局。我们已经与重要的出版合作伙伴一起探索下一个版本，目标是构建一个可视化平面，从拥有有价值原创内容的网站所有者的视角来覆盖安全问题。
下面的抢先预览包含一个新视图，可按文章剖析爬虫活动，揭示 AI 公司对不同内容、不同活动等的兴趣程度。
按流量规模排序的热门文章明细。展示关键指标，如 AI 机器人流量、其他机器人流量和人类流量（包括直接访问和来自引荐的访问）。
可见性只是第一步，后续还会有更多功能，帮助网站所有者在这个新时代掌控自己的内容。我们鼓励所有 Cloudflare Bot Management 客户，尤其是那些正在推动商务对话的客户，今天就来体验这一全新的分析视角。