开源数据集、格式与处理工具

一句话结论

• 文本数据流水线已高度工具化、开源化：datatrove、Ai2 Dolma toolkit、NeMo Curator（文本）、Data-Juicer 四套（均 Apache-2.0）覆盖"抽取→过滤→去重→分类"，差异在算力后端（CPU/Slurm、GPU、Ray）而非算法，MinHash / Bloom / 精确子串仍是去重主流 [1][2][3][4]。
• 质量过滤从启发式转向模型打分：FineWeb-Edu 用 LLM 标注训练分类器，DCLM（DataComp-LM） 称模型过滤是关键；Nemotron-CC / v2（NVIDIA） 反其道，用分类器集成加合成改写保留更多 token（DCLM / FineWeb-Edu 约丢弃 90%）[5][6]。
• 托管事实标准是 Hugging Face（Hub / Datasets） Hub：Parquet / WebDataset 为官方推荐格式，公共存储扩容 $12/TB/月起（公司口径）；Croissant 元数据 元数据已被 HF / Kaggle / OpenML 内置导出 [7][8]。
• 许可是最大灰区：开放语料多用 ODC-By（仅覆盖数据库权，不解决底层网页版权），后训练集常混合授权（Tülu 3 SFT 整体 ODC-BY-1.0 却含 CC-BY-NC 子集），GPT-4 / Llama 生成数据还带服务条款链 [9][10]。
• 与 robotics 专栏对应层的差异：文本数据有成熟的开源工具链、统一托管（HF）与 Croissant 元数据，且工具成本以"每 TB 去重数小时"计；机器人数据集多为各家私有格式、缺少通用处理流水线，格式碎片化是核心瓶颈。

生产方式

通用流水线与工具位置

流水线：抽取（WARC→文本）→ 语言识别 → 启发式过滤 → 去重 → 模型质量打分 → 毒性 / PII 过滤 → 去污染 → tokenize / 打包 → 托管。预训练语料本身的内容与配比见第 1 章，本章只写托管、格式、工具与许可侧。

来源 [1][2][3][4][11]。

各工具要点

• datatrove：HF 出品；流水线由 Reader、Extractor、Filter、Stats、Tokenizer、Dedup、Writer 块组成；支持断点续跑（只重跑未完成 task）；执行器含本地、Slurm、Ray，另有实验性 HF Jobs；近期新增 InferenceRunner（vLLM / SGLang / OpenAI 兼容端点）用于合成数据；GitHub 约 3.4k star（页面口径）[1]。
• Dolma toolkit（Ai2）：Dolma 语料配套工具，pip install dolma；内置并行，声称"可并发处理数十亿文档"，页面无吞吐基准数字。Dolma 论文称 3 万亿 token 英文语料，来源含网页、论文、代码、公有领域书籍、社交媒体、百科 [2][12]。语料本身见 Dolma / Dolma 3（Ai2；含 Dolma toolkit、Olmo 3 数据）。
• NeMo Curator（文本）：GPU 去重与策展，成本口径见下节"处理成本"。
• Data-Juicer：阿里通义实验室发起，联合阿里云 PAI、Anyscale、中山大学、NVIDIA NeMo 团队；README 称 200+ 算子，覆盖文本 / 图像 / 音频 / 视频 / 多模态；约 7.1k star；论文 SIGMOD 2024，Data-Juicer 2.0 为 NeurIPS 2025；列出的工业用户含字节、京东、小米；v1.6.0 发布于 2026-09；仓库现位于 datajuicer 组织 [4]。
• CCNet：Meta 2019 年提出（arXiv 1911.00359）。三步：hashes（段落哈希）→ mine（去重、FastText 语言识别、Wikipedia 训练的 KenLM 困惑度打分并分桶）→ regroup（约 4GB 一块）。head / middle / tail 分桶在 README 未直接出现，论文口径需核 [11]。
• Resiliparse / FastWARC（见 网页抽取与 OCR 工具（CCNet / Resiliparse / olmOCR））：ChatNoir 工具集，Rust + Cython / C++，含主内容提取、去样板、WARC 1.0 / 1.1 解析（GZip / Zstd / LZ4），Apache-2.0；README 无与 trafilatura 的对比数字，"比 trafilatura 快"未查到一手基准 [13]。
• OLMES（Ai2）：评测标准化规范，固定提示格式、few-shot 样例、概率归一化、cloze 与原始多选格式选择，使小模型与大模型可比。属评测侧，为去污染后复测提供一致口径 [14]。

典型语料的处理侧事实

• FineWeb / FineWeb-Edu / FineWeb-2 / FinePDFs（Hugging Face）：约 15 万亿 token，来自 96 个 Common Crawl 快照；FineWeb-Edu 约 1.3 万亿 token；ODC-By；论文同时公开全部消融模型。FineWeb-Edu 页含 114 个子集（CC-MAIN-2013-20 至 2025-26 及 10BT / 100BT / 350BT 采样），含 score / int_score 列。MinHash 参数、分类器标注规模、总算力未查到 [15][16][17]。
• FineWeb2：约 20TB、约 50 亿文档，近 100 个 CC 快照，流水线在 9 种语言上测试后扩展到 1000+ 语言，并给出基于重复数与质量的重平衡方法 [18]。
• DCLM（DataComp-LM）：提供 240T token 的标准化池；7B 模型 5-shot MMLU 64%，训练 2.6T token；算力比 MAP-Neo 少 40%、比 Llama 3 8B 少 6.6 倍 [5]。
• Nemotron-CC / v2（NVIDIA）：6.3T token；15T token 长程训练的 8B 模型含 7.2T 来自 Nemotron-CC，MMLU 高于 Llama 3.1 8B 约 5 分 [6]。
• Common Pile v0.1 / Comma（含 peS2o / S2ORC） v0.1：8TB 开放授权文本，30 个来源；Comma v0.1-1T / 2T（7B）性能与 Llama 1 / 2 7B 同级 [19]。
• OLMo 2（Ai2（OLMo / Dolma / Tülu））：7B / 13B / 32B 全开放（权重、数据、代码、配方、日志、中间检查点）；晚期退火用 Dolmino Mix 1124；指令版沿用 Tülu 3 配方与 RLVR [20]。

厂商与渠道

应用方式

数据托管与格式

• 规模：HF 官方文档未给出可核的当前总数；媒体口径称公开数据集 2026-01 约 71.1 万、2026-08 约 100 万（引 HF 报告，原报告未能打开）、公开模型约 300 万。⚠️ 仅作数量级参考 [26]。
• 格式：Hub 以 Git + LFS 存储（XetHub 并入后优化）；官方推荐 Parquet 与 WebDataset 作为大数据集格式（同时保证数据集查看器可用），不鼓励自定义加载脚本；建议单仓文件数 <100k、单目录 <10k、单文件 <200GB（硬上限 500GB）。Arrow 为 datasets 库的内存 / 缓存格式 [7]。
• 发布大数据集的要求：须有数据集卡、面向社区复用、使用与 HF 生态集成良好的格式 [7]。
• Croissant 元数据：MLCommons 数据集元数据格式，建立在 schema.org Dataset 之上，分元数据（含负责任 AI 方面）、资源、结构、ML 语义四层；HF 在数据集页嵌入 Croissant JSON-LD 并提供 API 下载，Kaggle、OpenML 同样提供；另集成 TFDS CroissantBuilder、CKAN、Dataverse、Datasets Search；规范 CC BY-ND 4.0，实现 Apache-2.0；README 链接 1.1 版规范而示例 conformsTo 仍为 1.0 [8]。
• 数据卡：HF 以 README 元数据（license、gated、extra_gated_fields）承载数据卡；Datasheets for Datasets 原论文未单独核。
• gated 与违规处理：作者可开启访问申请（自动或手动审批），可随时无事先通知拉黑用户；可附加 EU 限制（extra_gated_eu_disallowed，按 IP 判定地域）。内容政策禁止违法、侵害隐私、侵犯第三方知识产权、涉未成年人性内容等；版权走 DMCA，HF 审核后禁用并通知上传者，上传者可反通知，原权利人有 14 个美国工作日提起诉讼；其他举报可采取要求修改、降权、加 "Not for All Audiences"、禁用 / 移除、封号等措施，可申诉，并提及 EU DSA 庭外争议机制 [27][28]。
• gated 的实例：Infinity-Instruct（智源，含 COIG） 为 gated，需同意"不得用于伤害人类受试者的实验" [21]。

许可（license）标注

来源：各 HF 数据集页 [15][16][21][24][25][30][31]。Tülu 3 SFT 混合集整体标 ODC-BY-1.0，但页面明示部分子集为非商用，各子集许可不同；聚合许可不等于逐条可商用。

Tokenizer

中文效率：2026 年一项初步研究（SWE-bench Lite 23 题中英对照）称 cl100k_base 对中文多出约 15% token，Qwen2 仅多约 2.5%，GLM 的中文 token 数少于英文；字符密度中文 1.96-2.72 字符 / token、英文 2.69-3.72。⚠️ 单一预印本，未复核 [37]。SentencePiece（Unigram / BPE，不依赖预分词）未取得一手比较数据，未查到。

后训练开源数据集

评测污染检测与去污染

• n-gram 重叠：Llama 3 预训练采用 URL / 文档（全局 MinHash）/ 行级（类 CCNet）三层去重；其污染分析在论文 5.1.4 节（正文未读到）。GPT-3 论文承认存在"在大型网页语料上训练的方法学问题"（污染）[32][42]。
• 语料审计：WIMBD（arXiv 2310.20707，ICLR 2024）在 10 个语料（含 C4、The Pile、RedPajama）上做计数 / 检索分析，称 RedPajama v1/v2 与 SlimPajama（Together / Cerebras） 与 LAION-2B-en 约 50% 文档重复，发现 PII、有毒内容、合成 / 低质内容，并发现 Winograd 及部分 GLUE / SuperGLUE 与语料重叠；工具可在单节点上处理 35TB+ [43]。
• 黑盒检测：Min-K% Prob 无需知晓预训练语料，在 WikiMIA 上比既往方法高 7.4%，也用于版权书检测与隐私审计；TS-Guessing（遮蔽错误选项让模型补全）下 ChatGPT / GPT-4 在 MMLU 上精确复现被遮蔽选项的比例分别为 52%、57% [44][45]。
• 流程实践：Tülu 3 对开放数据做去污染并公开数据策展与评测工具包；OLMES 固化评测设置以减少评测侧波动。Tülu 3 去污染的具体匹配规则（如 n-gram 阈值）未取到一手文本，未查到 [38][14]。
• 去重与过滤的方法族见 去重与质量过滤。

规模、成本与价格

Hugging Face 存储与带宽（公司口径）

两页的公共大额折扣档存在差异（storage-limits 页 50TB 档 $10/TB，未列 200TB+ / 500TB+ 的公共价；pricing 页列 $9 / $8）。pricing 页称出口流量与 CDN 包含在内、不另收费（文档另强调经 CloudFront 分发）。FineWeb 级原始 Parquet 的 TB 数未取到，不估算。

处理成本：NeMo Curator 两套口径（不可混用）

两组数字的数据集、硬件、基线都不同，不可直接换算；均为公司口径，README 注明以图中标注为准。2023 博客另称质量过滤和模糊去重在 1000+ CPU 核上近线性加速，2T token 数据集（53 种自然语言、37 种编程语言）处理 8.7TB 文本需 6K+ CPU 的集群 [47]。⚠️ 第三方技能目录站流传的"120h CPU vs 7.5h A100、$4,320 vs $491.55"无一手出处，不采用。

其他工具与规模

• Data-Juicer 自报吞吐（公司口径）：50 个 Ray 节点（6400 核）2 小时处理 700 亿样本；5TB 去重 2.8 小时 / 1280 核；未给 $ 成本 [4]。
• datatrove / FineWeb 总处理 GPU / CPU 小时：未查到一手数字。
• 数据规模速查：FineWeb 首发 15T（现版约 18.5T）/ FineWeb-Edu 1.3T / FineWeb2 约 20TB 与 50 亿文档 / DCLM 池 240T（DCLM-baseline 约 4T token / 30 亿文档；7B 模型实训 2.6T）/ Dolma 3T / Nemotron-CC 6.3T / Common Pile 8TB / The Pile 886GB / Llama 3 约 15T（论文另有 15.6T 写法）/ Qwen2.5 18T / DeepSeek-V3 14.8T [5][6][12][15][18][19][32][35]。

局限与争议

• 许可聚合风险：ODC-By 只管数据库权，网页文本底层版权未解决；Tülu 3 混合集含 NC 子集；用 GPT-4 / Llama 生成或标注的数据集（UltraFeedback、WildChat GPT-4 部分、Magpie）受提供方服务条款制约，该链对"可商用"的影响仅作提示，未逐条核条款原文。
• LAION 事件的外溢：2023-12 斯坦福互联网观察站报告 LAION-5B 中 3,226 条疑似 CSAM 链接（其中 1,008 条经外部验证），LAION 暂时下架 LAION-5B 与 400M；2024-08 发布清洗后的 Re-LAION-5B；德国汉堡地方法院 2024 年驳回 Kneschke 诉 LAION（文本数据挖掘例外，判决月份来源内部矛盾，⚠️ 待核）。对文本领域：URL 式分发（只发链接不发内容）并不免于审计，"可追溯 + 可撤回"成为托管设计要点 [23]（百科口径）。
• Books3 / The Pile：The Pile 由 EleutherAI 2020-12-31 发布，22 个子集，约 886GB；Books3 / The Pile（含 Anna's Archive、书籍与学术语料）（约 108GB，源自盗版站 Bibliotik）为其组成部分；2023-07 丹麦反盗版组织 Rights Alliance 通过 DMCA 迫使 Books3 下架，随后 Pile 本体也从原站撤下，但副本仍在文件共享渠道流通；另有 YouTube 字幕被抓取、OpenSubtitles 争议。2025-06 EleutherAI 等发布仅含开放授权作品的 Common Pile v0.1 / Comma（含 peS2o / S2ORC） v0.1 作为替代 [48]（百科口径）。
• 相关判例：Kadrey v. Meta，2025-06-25 Chhabria 法官对 Meta 作出有利的简易判决（针对三名原告的特定记录认定合理使用，法官明确称非"训练合法"的一般结论），指控数据源含 LibGen、Anna's Archive、Z-Library、Bibliotik；案件仍就种子分发（torrenting）主张继续；原告的中间上诉申请于 2026-07-08 被驳回 [49]（律所博客口径）。Bartz v. Anthropic 见第 8 章。
• 质量过滤的副作用：DCLM / FineWeb-Edu 丢弃约 90%，Nemotron-CC 称因此损失长程训练所需的数据量；"教育价值"分类器偏好会固化某种文本风格（推断，非来源口径）。
• 审计结论：WIMBD 发现大规模语料中重复、PII、基准泄漏普遍存在；单靠 n-gram 去污染无法覆盖改写式污染，TS-Guessing 对封闭模型有迹象但不构成证明，封闭模型仍无法证伪。
• 工具口径可比性：各工具吞吐 / 成本均为公司口径，数据集、硬件、基线各异。
• HF 作为单点：平台对 gated / 下架拥有单方裁量；作者可随时撤销访问；依赖 HF 托管的"开放"数据存在可用性与政策风险。
• gated 与许可叠加：Infinity-Instruct（智源，含 COIG） 的 CC-BY-SA 与"不得伤害人类受试者"附加条款并存，下游合并时需注意许可兼容。

口径冲突与未核实

来源

1. https://github.com/huggingface/datatrove
2. https://github.com/allenai/dolma
3. https://github.com/NVIDIA-NeMo/Curator
4. https://github.com/alibaba/data-juicer
5. https://arxiv.org/abs/2406.11794 （DCLM）
6. https://arxiv.org/abs/2412.02595 （Nemotron-CC）
7. https://huggingface.co/docs/hub/storage-limits
8. https://github.com/mlcommons/croissant
9. https://huggingface.co/datasets/allenai/tulu-3-sft-mixture
10. https://huggingface.co/datasets/HuggingFaceFW/fineweb
11. https://github.com/facebookresearch/cc_net （CCNet，arXiv 1911.00359）
12. https://arxiv.org/abs/2402.00159 （Dolma）
13. https://github.com/chatnoir-eu/chatnoir-resiliparse
14. https://arxiv.org/abs/2406.08446 （OLMES）
15. https://huggingface.co/datasets/HuggingFaceFW/fineweb （同 [10]）
16. https://huggingface.co/datasets/HuggingFaceFW/fineweb-edu
17. https://arxiv.org/abs/2406.17557 （FineWeb）
18. https://arxiv.org/abs/2506.20920 （FineWeb2）
19. https://arxiv.org/abs/2506.05209 （Common Pile）
20. https://arxiv.org/abs/2501.00656 （OLMo 2）
21. https://huggingface.co/datasets/BAAI/Infinity-Instruct
22. https://arxiv.org/abs/2309.11998 （LMSYS-Chat-1M）
23. https://en.wikipedia.org/wiki/LAION ⚠️ 二手百科
24. https://huggingface.co/datasets/Anthropic/hh-rlhf
25. https://huggingface.co/datasets/OpenAssistant/oasst1
26. https://voxbooster.com/blog/hugging-face-model-downloads-statistics-2026/ ⚠️ 媒体口径
27. https://huggingface.co/docs/hub/datasets-gated
28. https://huggingface.co/content-policy
29. https://developer.meta.com/ai/llama3_2/license/ （仅搜索结果列示，未直接打开）
30. https://huggingface.co/datasets/allenai/WildChat-1M
31. 各数据集 HF 页（Aya、NuminaMath-TIR、WildGuardMix、No Robots 许可见 [9] 子集列示）
32. https://arxiv.org/html/2407.21783 （Llama 3）
33. https://arxiv.org/html/2309.16609 （Qwen）
34. https://arxiv.org/pdf/2508.17771 ⚠️ 词表数字为博客表 / 搜索摘要，另见 Qwen2.5 arXiv 2412.15115
35. https://arxiv.org/html/2412.19437 （DeepSeek-V3）
36. https://arxiv.org/abs/2304.08177 （Chinese-LLaMA / Alpaca）
37. https://arxiv.org/pdf/2604.14210 ⚠️ 单一预印本，搜索摘要
38. https://arxiv.org/abs/2411.15124 （Tülu 3）
39. https://arxiv.org/abs/2310.01377 （UltraFeedback）
40. https://arxiv.org/abs/2406.08464 （Magpie）
41. https://arxiv.org/abs/2304.07987 （COIG）
42. https://arxiv.org/abs/2005.14165 （GPT-3）
43. https://arxiv.org/abs/2310.20707 （WIMBD）
44. https://arxiv.org/abs/2310.16789 （Min-K% Prob）
45. https://arxiv.org/abs/2311.09783 （污染检测 / TS-Guessing）
46. https://huggingface.co/pricing
47. https://developer.nvidia.com/blog/curating-trillion-token-datasets-introducing-nemo-data-curator/ （公司口径）
48. https://en.wikipedia.org/wiki/The_Pile_(dataset) ⚠️ 二手百科
49. https://www.weintraub.com/2025/07/the-briefing-the-wrong-argument-why-authors-lost-against-meta-and-what-comes-next/ ⚠️ 律所博客二手口径

未查到：FineWeb MinHash 参数与总算力；Tülu 3 去污染具体规则；HF 带宽价目；SentencePiece 一手比较；Datasheets for Datasets 原文；LMSYS-Chat-1M / UltraFeedback 许可；COIG 许可与四个子任务；Dolma 许可原文细节（数据集 ODC-BY 仅据 toolkit 页面）。