2.1.1. Multiple Uses for Crawl Data

Crawl data 可能有多种用途, 例如 vendor 同时运营 search engine 等产品, 或 crawl 由 AI vendor 以外的一方执行. 这两种模式都很常见: 很多 Internet search engines 的 operators 也训练 AI models, 很多 AI models 使用 third-party crawl data.

参与者认为传统 search crawling 至少部分符合 publishers 的利益, 因为 indexing 能带来 traffic and attention. 但他们没有在 AI training 中看到同样关系; 有些人认为 AI 对 publishers 有敌意, 因为它可能把 traffic 从原站点带走.

当 crawling 同时包含 AI 和非 AI 用途时, 参与者预计非 AI 用途可能受到 "collateral damage", 特别是在 publishers 使用 blocking 或 paywalls 等更主动 controls 时. 有人担心这会实际造成 "locking down the Web", 并影响 freedom of expression.