OpenAI、Google、Microsoft 和 Anthropic 表示，他们将采用一项新标准，让出版商可以选择不被 AI 抓取，正如 Search Engine Roundtable 此前报道的那样。借助这一控制方式，出版商可以将其 AI 训练偏好统一应用于多家 AI 公司，而不必逐家单独设置。
Anthropic 标准技术负责人 Kevin Kelley 在国际互联网工程任务组（IETF）中提出了共享的“策略令牌”信号。该信号将存在于网站的 robots.txt 文件中，长期以来，该文件一直用于告知哪些网络爬虫可以或不可以抓取网站——无论是用于搜索索引、存档还是 AI 训练。目前，网站必须分别向每家 AI 公司表明其 AI 训练偏好。
这一声明发布之际，出版商正疲于应对不断涌入的 AI 爬虫抓取其网站并将内容输入 AI 模型。一些公司和组织已尝试打击未经授权的抓取，例如 Really Simple Licensing（RSL）标准让出版商能够向访问其网站的爬虫收费，以及 Cloudflare 默认阻止 AI 爬虫。
OpenAI、Google、Microsoft 和 Anthropic 表示，如果遇到该共享令牌，他们将限制其 AI 爬虫访问相关网站。Meta 传播负责人 Andy Stone 也表示支持这一新设置，但未说明该公司是否会遵守。“我们认为，创建一个能同时向多家提供商传达此类偏好的通用信号是重要的一步，”Stone 说。“我们期待与其他 AI 公司合作制定标准，并在全行业实施。”
Microsoft 表示，它将提供细粒度控制，让出版商能够选择退出 AI 训练或 AI grounding——即引导 AI 模型指向经过验证的信息来源以减少幻觉的过程。Microsoft 指出，无论网站偏好如何，它们仍会出现在 Bing 的搜索结果中。Google 此前已实施类似控制，允许网站决定其内容是否出现在 AI 搜索功能中或是否用于 AI 训练，而不影响其在搜索中的可见性。
Anthropic 已采用该信号，而 Google 和 Microsoft 计划于明年支持。OpenAI 表示将在“未来几个月内”实施。
10 月 30 日更新：添加了 Meta 的评论。