今天，我们宣布 OpenAI 将遵循 robots.txt 中的一项通用信号，该文件允许网站表达其对内容用于基础生成式 AI 训练的偏好。这一自愿性举措使发布者和网站运营者更容易一次性向多个参与提供商传达相同的偏好。
此前，网站运营者需要识别各个爬虫，并为每个提供商分别维护规则。在多个提供商之间采用共享信号可减少运营者的这项工作。
我们计划在未来几个月内实施该信号，并在实施时分享有关我们实施细节的另一次更新。这一新信号不会取代我们已通过 robots.txt 提供的控制措施。我们现有的爬虫控制为网络发布者提供了对其页面的灵活性和控制权，将继续适用并得到尊重。
这借鉴了互联网工程任务组（IETF）AI 偏好工作组的持续工作。我们与工作组中的其他参与者共同参与今天关于这一共享信号的宣布，并相信这加强了我们继续参与 IETF 标准讨论。随着这些对话和形势在适当控制和公平方面持续演变，OpenAI 将继续调整其做法。
我们相信这是迈向开放网络的一步务实举措，在开放网络中，人们可以发布和发现信息，网站所有者有更清晰、更简单的方式来表达他们对其内容使用方式的选择。我们鼓励其他 AI 提供商遵循该信号。