2.3.1. robots.txt (and Similar)

Robots Exclusion Protocol [RFC9309] 被 AI vendors 广泛视为 preferences 的 attachment mechanism, 但参与者指出了若干缺陷.

它不适合为大型站点提供 granular control, 尤其是 authors 希望为不同 content 设置不同 policies 时. 它通常由 site administrator 控制, 这可能阻止大型平台上的 individual creators 充分表达自己的 preferences. 如果 content 被复制或移动到另一个站点, 因为 robots.txt 是 separate resource, 新站点的 preferences 必须显式转移.

这些问题让许多参与者认为, robots.txt 不能是唯一的 opt-out solution. 它应当成为更大 system 的一部分. 其他类似 mechanisms 已经被提出, 但似乎没有获得与 robots.txt 同等的关注或实现.