2.1. Crawl Time vs. Inference Time

一个核心问题是 "crawl time vs. inference time". Preference statements 在内容被 crawled 时可见, 可能绑定到 location, 例如 robots.txt, 也可能作为 metadata embedded inside content.

然而, 这些 directives 的目标经常与 crawler 分离. Crawl data 可能不仅用于 AI model training, 而且某些 preferences 可能意在 inference time 生效.