对已验证机器人持续问责
驾照能告诉你某人是谁，以及他通过了驾驶考试，但无法告诉你他未来是否会负责任地驾驶。机器人也是如此：验证其运营者是谁能建立问责制，但信任取决于它接下来的行为。一个已知的机器人仍然可能无视网站偏好、压垮源站或规避控制。这并不总是恶意——通常只是配置错误或程序缺陷。
正如我们在之前一篇关于机器人行为的博客文章中所述，我们力求验证两个问题：“你是否如你所说？”以及“我们能信任你吗？”要成为 Cloudflare 已验证机器人，你大致需要满足三个标准：
- 准确且安全地表明自己的身份
- 只做你声称会做的事
- 不从事滥用行为
机器人使用 Web Bot Auth 对请求进行签名以确立其身份，该机制
随后以开放格式编目。身份识别问题解决后，我们的重点转向已验证机器人的第二条基本规则：
BotBase汝不得伤害。
今天我们推出一个系统，用于评估并报告已验证机器人的行为何时开始偏离这一规则，确保“我们能信任你吗？”的答案始终是“是”。
这正是风险与信任之间区别的重要性所在：
- 风险描述某个特定请求或时间点行为可能有害的可能性，它可能随时变化。
- 信任是通过反复且一致的行为随时间建立起来的。
例如，我们在 2025 年将 Perplexity 的机器人从已验证机器人列表中移除，当时它试图访问选择退出抓取的网站上的资源，并在这些请求被阻止后试图规避控制。
不从事滥用行为
这个简单的要求听起来像是白送的，但这句话中有很多细微之处。当爬虫不尊重网站偏好时，就会破坏信任。当网站要求爬虫不要抓取或放慢速度，而爬虫无视这些请求时，就会破坏信任。
我们开发了一个系统来衡量爬虫尊重网站偏好的频率。这些观察结果将转化为一个可解释的信任等级：一个显示机器人尊重网站偏好的一致程度以及哪些观察到的行为影响了该评估的范围，而不是对机器人或其运营者的永久性评判。我们评估的初始信号是：
- 机器人是否遵守指令？
- 它是否回应了直接反馈？
我们认为这些是“常识”规则，是对那些为信息机器人提供其所寻求信息的运营者的一种礼貌。未来，我们将在 Radar 上公开分享这些评分，并扩展我们的衡量方式。这一评分让负责任的机器人运营者能够证明信任正在随时间得到维护。验证，但要持续重新验证。
入乡随俗
robots.txt 文件是传达网站所有者偏好的主要方式。我们的系统会考量机器人的实际流量是否随时间与这些已发布的偏好保持一致。
Robots.txt 告知所有（或特定）机器人仅抓取网站的特定部分。孤立的违规和其他类型的一次性行为可能并不重要。我们真正关注的是反复出现的、无视网站偏好的行为模式。期望很简单：负责任的机器人应当查阅并遵守网站发布的偏好，符合 RFC 9309。
需要明确的是，robots.txt 设定了机器人和代理不应做什么的最低规则。但这并不意味着未声明的内容就是被允许的。例如，当网站可以通过其他信号传达继续访问是不受欢迎的时候，robots.txt 并不需要写明机器人必须停止。
己所不欲，勿施于人
机器人可以完全在允许的路径内活动，同时仍对其访问的网站造成巨大负载。网站可以回击的最明确方式之一是返回 HTTP 429（“请求过多”）响应。429 是一种指令，要求访问者降低其请求速率，有时还会附带关于等待多久后再重试的指引。
我们的系统会考量机器人在收到该信号后其流量是否做出调整。它是放慢速度、暂停，还是以相同节奏继续发送请求？我们随后会随时间将这一行为纳入机器人的信任等级：持续放慢或暂停会提升信任，而反复无视该信号则会降低信任。
随时间建立信任
观察这些信号只是让经过验证的自动化随时间承担责任的第一步。通过将机器人身份与持续行为的证据相结合，我们可以让网站所有者更有信心地认为他们选择允许的机器人正在尊重其偏好，让机器人运营者能够证明他们值得信任，并为网站所有者提供关于到达其网站的自动化流量的背景信息。
该系统与 Bot Preference Sync 以及
__机器人管理__我们已经在内部使用该系统来评估已验证机器人对网站偏好的遵守程度。由于信任是随时间建立的，我们评估的是持续模式而非孤立事件。我们正在利用这一初始阶段来积累历史记录，并完善如何将这些观察结果转化为有用的指导。在此基础上，我们计划将该系统提供给所有Cloudflare客户，他们将能够选择用于决定如何处理已验证机器人流量的信任阈值。我们的目标很明确：让网站偏好保持有意义，并确保信任通过持续行为来赢得。
想了解更多关于如何处理机器人的信息？Cloudflare客户已经可以使用机器人管理来管理自动化流量，并
使其发布的偏好与配置的策略保持一致。要探索不断增长的已验证机器人群体，请查看上的趋势
机器人偏好同步。
__Radar__如果您有兴趣帮助构建机器人身份和问责制的未来，请探索Cloudflare的开放职位。