预训练语料

一句话结论

• 开放预训练语料的上游几乎全部是 Common Crawl（含 Common Crawl Foundation）：FineWeb / FineWeb-Edu / FineWeb-2 / FinePDFs（Hugging Face）、DCLM（DataComp-LM）、Dolma / Dolma 3（Ai2；含 Dolma toolkit、Olmo 3 数据） 网页部分、RedPajama v1/v2 与 SlimPajama（Together / Cerebras）、Nemotron-CC / v2（NVIDIA）、TxT360 与 Zyda-2、CulturaX 都是对 CC 的不同过滤、去重或改写；CC 自身是小型非营利（2024 年收入约 $1.47M、约 18 人），2026-08 单次抓取约 21.4 亿页 / 360 TiB，较 2024 年平均 26.9 亿页在缩小 [1][2]。
• 技术主线从"规则过滤"转向"模型打分过滤"（FineWeb-Edu 分类器、DCLM、CCI3.0-HQ），再转向"合成改写补量"（Nemotron-CC 6.3T token、BeyondWeb）；过滤型方案丢弃约 90% 数据，是原生 token 不够用的直接压力 [3][4][5]。
• 新增量来自 PDF 与多语种：FinePDFs 约 3T token、FineWeb-2 覆盖 1000+ 语言 / 20TB、Dolma 3 池 9.3T token，olmOCR 转换百万页 $176（Ai2 口径）[6][7][8]。
• 版权与来源合规开始定价：Bartz v. Anthropic 以 $1.5B 和解（约 $3,100/部），Kadrey v. Meta 判 Meta 胜诉但留下"市场稀释"路径；回应是 Common Pile v0.1（8TB 开放许可文本）与付费爬取通道 [9][10][11]。
• 与 robotics 专栏对应层的差异：机器人数据靠采集硬件与人力现场生产、按小时计价；文本预训练语料基本是免费的公共爬取品，成本集中在清洗算力与版权风险，而不在"采集"。
• 中国侧开放中文语料体量远小于英文（SkyPile-150B 约 150B token、CCI3.0 约 1TB、MAP-CC 约 800B token），头部模型（Qwen3 36T token）主体语料不开源；政府抓手是"高质量数据集"与地方语料券，而非统一的国家级语料库 [12][13][14]。

生产方式

通用流水线：爬取 → 提取 → 过滤 → 去重 → 配比

处理工具横向见 去重与质量过滤、datatrove、NeMo Curator（文本）。关键事实：

• FineWeb 由 96 个 CC 快照得 15T token；FineWeb-Edu 为 1.3T token 子集，标注用 Llama-3-70B-Instruct，在 15T 上跑分类标注耗 6,000 H100 GPU 小时（HF 口径）[3]。HF 数据卡显示当前含 110 个快照（至 CC-MAIN-2025-26），许可 ODC-By [15]。
• DCLM 提供 240T token 的标准化 CC 池，DCLM-baseline 数据集约 4T token / 30 亿文档；7B 模型在 DCLM-baseline 上训 2.6T token 达 MMLU 64%，比 MAP-Neo 高 6.6 个点、少用约 40% 算力 [4]。
• Zyda-2 称 DCLM 与 FineWeb-Edu 内部重复约 80%（Zyphra 口径，二手），跨集去重借 NeMo Curator 把处理时间从 3 周降到 2 天 [16]。
• Nemotron-CC 论点：过滤型方案丢弃约 90% 数据，长训练（15T）下独特 token 不足；其多分类器集成加合成改写得 6.3T token（约为 DCLM 独特 token 的 4 倍），8B 模型 15T 训练后 MMLU 比 Llama 3.1 8B 高 5 点（作者口径）[5]。

PDF 与 OCR 流水线

• olmOCR：微调 7B 视觉语言模型，训练集 olmOCR-mix-0225 约 26 万页；论文口径转换百万页仅 $176，对比 GPT-4o 超过 $6,240（Ai2 口径）[7]。
• FinePDFs：约 3T token、4.75 亿文档，Docling 提取文本型 PDF，扫描件用 RolmOCR，ODC-By；子集 FinePDFs-Edu 约 350B+ token。⚠️ 二手口径，语言数存在 1733 与"1000+"两种说法 [6]。
• Qwen3：先用 Qwen2.5-VL 识别大量类 PDF 文档再精修，36T token 覆盖 119 种语言 / 方言 [17]。
• Dolma 3（Olmo 3）：约 9.3T token 池，含 olmOCR 处理的科学 PDF；Dolma 3 Mix 约 5.9T token；Dolmino 中期训练约 100B、Longmino 长上下文约 50B [8]。

中文语料流水线（公开信息）

• SkyPile-150B：中文网页，规则 + fastText + BERT 过滤、去重、敏感内容过滤，约 600GB / 约 150B token，公开部分约 2.33 亿网页。⚠️ 二手口径 [12]。
• CCI3.0-HQ（智源）：Qwen2-72B-Instruct 标注样本、蒸馏小分类器、两阶段混合过滤；用 0.5B 模型训 100B token，在 10 个零样本基准上优于 CCI3.0、SkyPile、WanJuan v1（作者口径）[13]。
• MAP-CC：CT-LLM 项目的清洗中文网页语料，CT-LLM 训练集共 1200B token（中文 800B、英文 300B、代码 100B）[14]。

厂商与渠道

公益 / 非营利 / 学术

商业

中国语料库与数据要素项目

交易所与语料券机制见 中国数据交易所与语料券。未检索到名为"国家级语料库"、万亿 token 量级的统一项目，可核实的国家级抓手是"高质量数据集"体系。

应用方式

数据集速查：用在哪、谁在用

前沿模型的语料规模（对比）

• Qwen3（Qwen / 阿里通义）：36T token，119 种语言，含 Qwen2.5-VL 提取的 PDF 文本 [17]。
• DeepSeek-V3（DeepSeek（深度求索））：14.8T token [34]。
• Llama 3.1 405B：约 15T token，⚠️ 二手口径。
• Nemotron-CC 论文：8B 模型 15T 训练，其中 7.2T 来自 Nemotron-CC [5]。

在训练各阶段的位置

• 预训练：网页（FineWeb / DCLM / Nemotron-CC）为主体，代码与学术为搭配。
• 中期训练 / 退火：Dolma 3 的 Dolmino（约 100B）与 Longmino（约 50B，长上下文）；DCLM 与 FineWeb-Edu 的高质量子集常在退火阶段上采样。
• 重复使用：Nemotron-CC 与 TxT360 都在讨论"高质量子集上采样 vs 独特 token"，具体重复轮次的有效区间未取得一手论文核实。

规模、成本与价格

主要开源语料的 token 数与 license

成本与价格信号

各工具处理成本均为各自口径，硬件与单价假设不同，不能互比。

局限与争议

原生 token 耗尽

• Epoch AI 估算公开人类文本"有效存量"约 300T token（90% 区间 100T-1000T），按当前趋势 2026-2032 年间被前沿训练充分用尽；过训练会提前（二手转述）[35]。"有效存量"已折算质量与重复使用价值，不是原始网页文本总量；未检索到 2025-2026 的 Epoch 新版估算。
• 对照现实：Qwen3 已用 36T token，Nemotron-CC 指出过滤方案丢弃约 90% 数据；"耗尽"实际表现为高质量独特 token 紧缺，转向改写合成、PDF / 多语种与授权数据。

版权与盗版来源

• Books3 / The Pile（含 Anna's Archive、书籍与学术语料）：Pile 子集，约 19.7 万本，来自 Bibliotik。2023 年丹麦 Rights Alliance 发 DMCA 通知，HF 托管副本被指提供至少 109 部受保护作品；此后已从 Pile 下架，副本已扩散 [36]。
• Bartz v. Anthropic：2025-06 Alsup 法官裁定用合法取得的书训练属变革性合理使用，但将盗版书永久存入"中央图书馆"不属合理使用；随后 $1.5B 集体和解，需销毁 LibGen / PiLiMi 来源文件；和解不构成通用训练授权规则。2026-07-20 终审批准（Martínez-Olguín 法官）[9]。
• Kadrey v. Meta：记录显示 Meta 从 LibGen、Anna's Archive 下载并以 torrent 分发；地方法院判 Meta 胜诉，但提出"市场稀释"可作为未来原告路径，盗版来源可影响"使用性质"分析 [11]。
• Nazemian v. Nvidia：2026-01 修订起诉状称 Nvidia 联系 Anna's Archive 希望纳入预训练数据；Nvidia 已动议驳回。以上均为指控与诉讼立场，⚠️ 驳回动议结果未查到 [37]。
• Common Crawl：The Atlantic（2025-11）称 CC 归档含数百万条付费墙新闻，NYT 与 Rights Alliance 的删除要求未被执行；CC 方面表示依从但缓慢，并否认欺骗出版方。⚠️ 仅见二手转述，未读原文 [38]。
• CCBot 封禁：BuzzStream（2025）对美英各 Top 50 新闻站的 robots.txt 检查，CCBot 是被封最多的训练爬虫，约 75%，其后 anthropic-ai 72%、ClaudeBot 69%、GPTBot 62%；仅代表头部新闻站，且 2025-07-01 起 Cloudflare 对新域名默认封 AI 爬虫，部分封禁是平台默认而非站长选择 [39]。全网口径未核实。
• 代码：The Stack 采用宽松许可过滤 + opt-out 剔除，opt-out 对已发布版本不回溯；GitHub Copilot 训练许可范围与相关诉讼未核实。
• 反例：Common Pile 证明仅用开放许可文本可训出与 Llama 1/2 7B 竞争的 7B 模型（作者口径），但在多数评测上仍被 FineWeb 系列超过（媒体转述）[10]。

质量与方法争议

• 过滤集中度：FineWeb-Edu 与 DCLM 都依赖"教育 / 指令式"分类器；Zyda-2 指出二者内部仍约 80% 重复（Zyphra 口径，二者论文称无需内部去重）。
• 全局去重 vs 快照内去重：TxT360 主张全局去重，并说明去重后需要上采样配方，因此"15T"不是 15T 独特 token。
• 合成改写风险：模型坍缩（Model collapse（合成数据递归退化））、风格单一；BeyondWeb 与 Nemotron-CC 的收益为作者口径，缺独立复现。
• 中文语料审计：2026 年有论文通过采样 BPE token 统计审计 WuDao 等中文语料，⚠️ 仅读到标题级摘要，结论未核 [40]。

口径冲突与未核实

另需补查：C4 / RefinedWeb / DCLM-baseline 的 license 与 C4 / RefinedWeb 的确切 token 数；全网口径 CCBot 封禁比例；Together、Zyphra、LLM360 融资金额；商业清洗语料价目；北京 / 上海数据集团在语料供给中的具体角色。

来源

1. Common Crawl 2026-08 公告 https://commoncrawl.org/blog/august-2026-crawl-archive-now-available ；2026-05 https://commoncrawl.org/blog/may-2026-crawl-archive-now-available ；2026-06 https://commoncrawl.org/blog/june-2026-crawl-archive-now-available
2. Common Crawl 财务 https://projects.propublica.org/nonprofits/organizations/261635908 ；https://en.wikipedia.org/wiki/Common_Crawl_Foundation
3. FineWeb 论文 https://arxiv.org/abs/2406.17557
4. DCLM https://arxiv.org/abs/2406.11794
5. Nemotron-CC https://arxiv.org/abs/2412.02595
6. FinePDFs https://infoq.com/news/2025/09/finepdfs/ ；https://pdfa.org/huggingface-echoes-safedocs/ （二手）
7. FineWeb-2 https://arxiv.org/pdf/2506.20920 ；olmOCR https://arxiv.org/abs/2502.18443
8. Olmo 3 / Dolma 3 https://arxiv.org/pdf/2512.13961 ；https://simonwillison.net/2025/Nov/22/olmo-3/
9. Bartz 和解 https://pearlcohen.com/federal-court-approves-1-5-billion-anthropic-copyright-settlement-largest-in-history ；https://ktslaw.com/insights/alert/2025/9/parties-reach-a-landmark-settlement-in-the-bartz-v-anthropic-litigation
10. Common Pile https://arxiv.org/pdf/2506.05209 ；https://www.eleuther.ai/papers-blog/the-common-pile-v01-an-8tb-dataset-of-public-domain-and-openly-licensed-text
11. Kadrey v. Meta https://www.loeb.com/en/insights/publications/2025/07/kadrey-v-meta-platforms-inc
12. SkyPile https://hyper.ai/en/datasets/28906 （二手）
13. CCI3.0-HQ https://arxiv.org/abs/2410.18505 ；https://news.aibase.com/news/11995
14. MAP-CC / CT-LLM https://arxiv.org/html/2404.04167v4
15. FineWeb 数据卡 https://huggingface.co/datasets/HuggingFaceFW/fineweb
16. Zyda-2 https://zyphra.com/post/building-zyda-2 ；https://arxiv.org/pdf/2411.06068v1 （二手检索摘要）
17. Qwen3 https://arxiv.org/pdf/2505.09388
18. Dolma https://arxiv.org/abs/2402.00159 ；许可变更 https://allenai.org/blog/making-a-switch-dolma-moves-to-odc-by-8f0e73852f44
19. FineWeb-2 同 [7]；HF 论文 https://arxiv.org/abs/2406.17557
20. The Stack v2 https://huggingface.co/datasets/bigcode/the-stack-v2 ；https://www.bigcode-project.org/docs/about/the-stack/
21. TxT360 https://huggingface.co/datasets/LLM360/TxT360 （二手检索摘要）
22. WuDaoCorpora https://data.baai.ac.cn/details/WuDaoCorporaText
23. WanJuan https://arxiv.org/abs/2308.10755
24. Ultra-FineWeb https://arxiv.org/pdf/2505.05427 ；OpenCSG https://arxiv.org/abs/2501.08197
25. DatologyAI 融资 https://www.datologyai.com/blog/datologyai-raises-46m-series-a ；BeyondWeb https://arxiv.org/abs/2508.10975
26. RedPajama-v2 https://together.xyz/blog/redpajama-data-v2
27. SlimPajama https://www.cerebras.ai/blog/slimpajama-a-627b-token-cleaned-and-deduplicated-version-of-redpajama
28. Nemotron-CC-v2 https://huggingface.co/datasets/nvidia/Nemotron-CC-v2 ；https://research.nvidia.com/labs/adlr/NVIDIA-Nemotron-Nano-2
29. 国家数据局高质量数据集 https://www.news.cn/tech/20260729/12a8d89a444a4583b0dc0313785867ac/c.html ；https://www.thepaper.cn/newsDetail_forward_33616684 （检索摘要，未读原文）
30. 上海语料券 https://www.yicai.com/news/102745584.html ；https://www.stdaily.com/web/gdxw/2026-03/17/content_486937.html （检索摘要）
31. 北数所 https://m.bjnews.com.cn/detail/1718938311129578.html ；https://english.beijing.gov.cn/investinginbeijing/Investmentnews/202502/t20250214_4010104.html
32. 北京数据集团 https://www.stdaily.com/web/gdxw/2026-09/15/content_580973.html （检索摘要）
33. 深圳语料券 新浪财经 2025-07-05 报道（媒体口径）
34. DeepSeek-V3 https://github.com/deepseek-ai/deepseek-v3
35. Epoch AI https://arxiv.org/abs/2211.04325 ；https://epoch.ai/blog/will-we-run-out-of-data-limits-of-llm-scaling-based-on-human-generated-data
36. Books3 下架 https://huggingface.co/datasets/huggingface-legal/takedown-notices/blob/main/2023/2023-08-25-rettighedsalliancen-dk.md ；https://en.wikipedia.org/wiki/The_Pile_(dataset)
37. Nvidia / Anna's Archive https://www.medianama.com/2026/01/223-nvidia-high-speed-access-pirated-books-annas-archive ；https://www.3dtested.com/tech-industry/artificial-intelligence/nvidia-says-annas-archive-contact-does-not-show-pirated-books-were-used-to-train-its-ai
38. The Atlantic / CC 二手转述 https://waxy.org/2025/11/the-atlantic-on-common-crawl-the-nonprofit-funneling-paywalled-articles-to-ai-companies/ ；https://ppc.land/common-crawl-supplies-paywalled-content-to-ai-companies-despite-publisher-objections/
39. BuzzStream https://www.buzzstream.com/blog/publishers-block-ai-study/ ；https://www.searchenginejournal.com/most-major-news-publishers-block-ai-training-retrieval-bots/564605/
40. 中文语料审计 https://arxiv.org/pdf/2608.10678