robots.txt 与 AI 爬虫治理

现状

BuzzStream 2026 年对 100 个美英头部新闻站 robots.txt 的分析：79% 至少封一个训练 bot，CCBot 被封 75%（最高）、anthropic-ai 72%、ClaudeBot 69%、GPTBot 62%；样本限定头部新闻站，不代表全网；79% 与 CCBot 75% 已核，其余三个 bot 比例未在摘要中复核 [1]。TollBit 发布商网络样本显示 robots.txt 绕过率 Q2 2025 约 13.3%，2026 上半年约 15%（经二手转述）[2]。

治理工具

Cloudflare 自 2025-07 起对新域名默认拦截 AI 爬虫，2026-09-15 起对广告类页面默认拦截混合用途爬虫（范围二手转述），见 Cloudflare Pay-Per-Crawl（HTTP 402）。RSL 1.0（2025-12-10）基于 rsl.txt 表达许可条件，本身不能阻断爬虫，需基础设施执行；">1,500 家媒体支持"为自报 [4]。IETF aipref 词表草案已到 -08（2026-09），2026-08 的提交里程碑已滑期，章程把技术强制排除在外 [3]。

局限

Ziff Davis 案判定 robots.txt 不是 DMCA §1201 的技术措施，见 NYT v. OpenAI / Microsoft。封锁有成本：一项工作论文称封 LLM 爬虫的新闻站 6 周内流量约降 7%（二手，未核原文）。

来源

1. https://www.buzzstream.com/blog/publishers-block-ai-study/ (2026-10-15)
2. https://tollbit.com/bots/25q2 (2026-10-15)
3. https://datatracker.ietf.org/doc/html/draft-ietf-aipref-vocab-08 (2026-10-15)
4. https://rslstandard.org/press/rsl-1-specification-2025 (2026-10-15)
5. https://decrypt.co/333479/cloudflare-perplexity-ai-stealth-crawlers-website-blocks (2026-10-15)