原创内容是对话与好奇心的生命线。想象一个没有它的世界：我们可以找到一千种方式来重复已经存在的相同材料，但我们将见证新思想和论点的衰落。
网站所有者滋养着思想、新闻和有趣花絮的生态系统，但他们面临着日益复杂的挑战：管理网站流量并为其内容获得报酬。虽然某些机器人流量明显是恶意的，但特定AI爬虫是在帮助还是损害你的业务，并不总是显而易见的。为了回答这个问题，网站所有者需要细粒度、可靠的数据来区分提供价值的流量与消耗资源同时侵蚀其商业模式基础（即实际消费其内容的真人）的流量。
在Cloudflare，我们秉持一个核心理念：网站所有者有权__控制对其内容的访问__。我们希望帮助网站所有者维护其高质量内容并规范AI流量。
为了提供急需的清晰度并帮助网站所有者掌控局面，我们激动地宣布新的__归属业务洞察__仪表板__——专为业务决策者和发布者设计。
互联网的新经济
几十年来，互联网的商业模式依赖于一个简单、不言而喻的协议：网站所有者允许搜索引擎抓取其内容，作为回报，搜索引擎将读者送回其页面。在这种共生关系中，传统搜索引擎以平衡的“抓取-推荐”比率运作，产生了维持广告、联盟收入和订阅所需的页面浏览量。搜索索引爬虫会__为每次推荐抓取你的内容几次__，因此让你的网站对爬虫可用为额外收入提供了清晰的渠道。我们可以将其视为SEO（搜索引擎优化）时代。
如今，AI爬虫和代理的爆炸式增长打破了这一契约，将数字出版业推入前所未有的危机。互联网正面临向“零点击”生态系统过渡的风险，其中AI聊天机器人抓取原创内容以合成即时答案——完全绕过原始来源。我们已经看到从纯SEO世界向AEO（答案引擎优化）世界的显著转变，而现在围绕GEO（生成引擎优化）的讨论正成为焦点。
这种新现实的不平衡通过我们今天在互联网上看到的抓取-推荐比率变得清晰。虽然传统搜索引擎的抓取与合法访客推荐比率更为平衡，但主要AI爬虫以截然不同、掠夺性的规模运作。领先AI公司的机器人已被观察到具有一系列抓取-推荐比率：我们注意到在__2025年我们的内容独立日__前后，比率从118:1到近50,000:1不等。换句话说，一个AI爬虫可能抓取你的优质内容数万次，却只送回一个访客。这种比率从根本上是不公平的。
对于发布商来说，这造成了双重打击：首先，他们失去了关键的引荐流量、广告展示次数以及直接受众关系，而这些正是内容创作和新闻业的资金来源。其次，他们被迫承担不断上升的基础设施成本，用于托管和向不提供任何商业价值的自动化机器人提供内容。允许所有爬虫以期被发现的时代已经结束。
推出 Attribution Business Insights
我们希望网站所有者掌握事实——即冰冷、确凿的数据，以了解哪些机器人有助于其业务，哪些则有害。我们还希望让这种分析变得前所未有的简单，因此我们设计了 Attribution Business Insights，以消除噪音，专注于客户告诉我们最重要的细节。
今天，Attribution Business Insights 仪表板已向所有 Cloudflare Bot Management 客户开放。这个新仪表板旨在提供流向您网站的机器人流量的针对性视图；与可能需要大量手动过滤的传统分析工具不同，该仪表板可立即为您提供关键洞察。
我们着手回答当今网站所有者最紧迫的问题：您应如何看待网站上的 AI 流量？ 不同受众（包括人类、非 AI 机器人和 AI 机器人）的价值是什么？最重要的是，您的数据被用于什么目的？
新的 Attribution Business Insights 仪表板视图，包括关于整体机器人流量的洞察、全站爬取与引荐比率，以及 AI 机器人流量与自然流量的分布。
为了回答这些问题，仪表板显示了一系列强大的数据和洞察：
内容页面的机器人流量： 查看您的整体机器人流量与人类流量，以及成功访问内容的所有机器人的数量。
爬取与引荐比率： 查看您全站 24 小时、7 天或 30 天时间范围内的爬取与引荐比率。您还可以查看每个机器人运营商（拥有一个或多个机器人的公司）的爬取与引荐比率。
热门机器人细分： 按数量排列的热门机器人列表，包括其来源国家、在您网站上占用的带宽，以及您当前是阻止还是允许它们。
基于爬虫行为的更新分类： 我们超越了通用的“AI 爬虫”标签，通过更新的分类法对爬虫进行分类，无论是训练（即训练__LLM 聊天机器人的下一个版本__）、搜索（即刷新__检索增强生成__的数据库）还是代理（即用于__代理交互以向最终用户返回答案__）。
从数据到业务策略
您不必成为安全专家也能理解 AI 爬虫如何影响您的业务。如果网站所有者只想花几分钟了解高级洞察，他们可以清楚地了解其内容安全策略的有效性。
对于那些希望进一步挖掘以了解 AI 公司如何利用其内容——或收集信息以指导他们希望如何与 AI 公司发展关系的人——我们按机器人运营商展示了更细粒度的视图。
网站上机器人活动的细分，包含每个机器人的重要详细信息，如类型、爬取与引荐比率以及当前操作。
通过整合查看希望访问您网站内容的公司，您可以更好地了解爬虫活动的基线。我们希望这些数据能让我们的客户在业务对话中掌握事实依据。告诉 Company1，他们的爬取量是 Company4 的二十倍，而 Company4 已经在为内容向您付费。根据 Company2 近期的活动，重新审视他们获取您内容的许可方式。这个新仪表盘将推动业务对话向前发展。
这一新的可见性层如何与您现有的保护网站免受滥用的工具相结合？与 Bot Management 的其他功能一致，操作步骤仍在安全规则中执行。为了避免给控制平面增加噪音，Attribution Business Insights 旨在成为深思熟虑、经过筛选的分析中心，而不是另一个采取行动的地方。该仪表盘作为信息的中央来源，允许您在进行调查后，在管理其他滥用缓解措施的同一规则引擎中采取行动。我们还希望明确邀请业务决策者使用此仪表盘，承认围绕 AI 流量的对话涉及更广泛的利益相关者，而不仅仅是安全专业用户。
Attribution Business Insights 仪表盘是为网站所有者提供管理不断演变的 AI 机器人威胁所需的透明度和控制力的下一个关键步骤，更广泛地说，是塑造互联网新动态的关键步骤。我们已经在与紧密的出版合作伙伴一起研究下一个迭代，以创建一个可见性平面，从拥有有价值原创内容的网站所有者的角度覆盖安全。
下面的预览包括一个新视图，用于按文章分析爬虫活动，揭示 AI 公司对不同内容、不同活动等的兴趣程度。
按流量划分的最受欢迎文章细分。显示关键指标，如 AI 机器人流量与其他机器人流量与人类流量，包括直接流量和引荐流量。
可见性是第一步，未来还会有更多功能，以赋能网站所有者在这个新时代掌控自己的内容。我们鼓励所有 Cloudflare Bot Management 的客户——尤其是那些推动业务对话的客户——立即访问此功能，以获得分析的新视角。