datatrove

原理

datatrove 把语料处理拆成 Reader、Extractor、Filter、Stats、Tokenizer、Dedup、Writer 等可组合的块，每个块按 task 并行，支持断点续跑，只重跑未完成的 task [1]。执行器覆盖本地、Slurm 与 Ray，另有实验性的 HF Jobs；近期加入 InferenceRunner，可经 vLLM、SGLang 或 OpenAI 兼容端点做合成数据生成 [1]。

代表实现

去重方面内置 MinHash、句级精确去重与精确子串三类；抽取环节最常配合 Trafilatura 使用 [1]。FineWeb / FineWeb-Edu / FineWeb-2 / FinePDFs（Hugging Face） 的 15 万亿 token 流水线即以它为基础，并公开了全部消融模型 [2]。

局限

它是 CPU 与调度器导向的框架，不含 GPU 去重；与 NeMo Curator（文本） 的差别主要在算力后端而非算法。FineWeb 的总处理 GPU/CPU 小时和 MinHash 参数未查到一手数字。

来源

1. https://github.com/huggingface/datatrove (2026-10-15)
2. https://arxiv.org/abs/2406.17557 (2026-10-15)