Data / 大模型 / 实体卡片

Common Crawl（含 Common Crawl Foundation）

数据集美国语料

非营利网页抓取归档，几乎所有开放网页语料的上游

成立
2007
数据类型
网页 WARC；提取文本 WET；元数据
规模口径
2026-08 单次抓取约 21.4 亿页 / 360 TiB 未压缩；2026 年七次抓取平均约 21.5 亿页、2024 年约 26.9 亿（两项均值 ⚠️ 未逐次核）
融资
2024 年收入约 $1.47M、支出约 $1.33M，约 18 人（⚠️ 二手口径）；2023 年前主要依赖 Elbaz Family Foundation，此后开始接受 AI 行业捐款（⚠️ 未核）
License
免费使用，受 Common Crawl 使用条款约束；底层网页版权归原站（⚠️ 条款原文未逐条核）
链接
commoncrawl.org

内容与规模

Common Crawl 是一家小型 501(c)(3) 非营利机构，按月发布网页抓取归档，托管在 AWS 公开数据集上免费下载 [1]。2026-08 的一次抓取约 21.4 亿页、360 TiB 未压缩 [1]；单次页数较 2024 年均值呈下降趋势（均值数字 ⚠️ 未逐次核）。

谁拿它预训练

FineWeb / FineWeb-Edu / FineWeb-2 / FinePDFs（Hugging Face）、DCLM（DataComp-LM）、Dolma / Dolma 3（Ai2；含 Dolma toolkit、Olmo 3 数据） 的网页部分、RedPajama v1/v2 与 SlimPajama（Together / Cerebras）、Nemotron-CC / v2（NVIDIA）、TxT360 与 Zyda-2、多语种语料（CulturaX / mC4 / ROOTS） 里的 CulturaX 等，都是对它的不同过滤、去重或改写。机构本身 2024 年收入仅约 $1.47M [2]，却是开放预训练链条的单点上游。

已知缺陷与争议

  • 原始归档噪声大，使用者要自行承担提取、过滤和存储成本。
  • 2025-11 The Atlantic 报道称其归档含大量付费墙新闻，且 NYT 等出版方的删除要求未被及时执行；Common Crawl 方面回应称在依从但较慢。此处仅为二手转述 ⚠️ [3]。
  • 头部新闻站对 CCBot 的 robots.txt 封禁比例约 75%（BuzzStream 对约 100 个美英头部新闻站的抽样，不代表全网）[4]。

来源

  1. https://commoncrawl.org/blog/august-2026-crawl-archive-now-available (2026-10-15)
  2. https://projects.propublica.org/nonprofits/organizations/261635908 (2026-10-15)
  3. https://waxy.org/2025/11/the-atlantic-on-common-crawl-the-nonprofit-funneling-paywalled-articles-to-ai-companies/ (2026-10-15)
  4. https://www.buzzstream.com/blog/publishers-block-ai-study/ (2026-10-15)

相关卡片

Bartz v. Anthropic概念与方法 · 美国
训练被认定合理使用但盗版库留存不是，以 $15 亿和解收场
robots.txt 与 AI 爬虫治理概念与方法
自愿协议正被边缘层强制拦截与标准草案补强
DCLM（DataComp-LM）数据集 · 美国
240T token 的 CC 标准化数据池与 fastText 过滤基线
Dolma / Dolma 3（Ai2；含 Dolma toolkit、Olmo 3 数据）数据集 · 美国
Ai2 全开放预训练语料及配套去重过滤工具
FineWeb / FineWeb-Edu / FineWeb-2 / FinePDFs（Hugging Face）数据集 · 美国
Hugging Face 的过滤网页语料（首发 15T token，现版约 18.5T）及教育、多语种、PDF 衍生集
Nemotron-CC / v2（NVIDIA）数据集 · 美国
分类器集成加 LLM 改写，把 CC 保留量做到 6.3T token
RedPajama v1/v2 与 SlimPajama（Together / Cerebras）数据集 · 美国
复刻 Llama 配方的开放语料，v2 只给质量信号不做过滤
多语种语料（CulturaX / mC4 / ROOTS）数据集 · 全球
覆盖百种以上语言的开放多语种预训练语料

卡片整理 2026-10-15。公司自报数据标“公司口径”；⚠️ 为未经独立核实。