去重与质量过滤

原理

主链路为：语言识别、启发式过滤、去重、模型质量打分、毒性与 PII 过滤、评测去污染。去重主流是 MinHash、Bloom filter 与精确子串；Llama 3 采用 URL、文档（全局 MinHash）、行级三层。竞争点已从启发式规则转向模型打分：FineWeb / FineWeb-Edu / FineWeb-2 / FinePDFs（Hugging Face） 的 FineWeb-Edu 用 LLM 标注训练分类器，约 1.3T token；DCLM（DataComp-LM） 称模型过滤是关键 [1][2]。

争论

DCLM 与 FineWeb-Edu 丢弃约 90% 的数据；Nemotron-CC / v2（NVIDIA） 反过来用分类器集成加合成改写保留更多 token，认为长程训练需要数据量 [3]。"教育价值"分类器会固化某种文本风格，此为推断。

去污染

WIMBD（ICLR 2024）在 10 个语料上发现 RedPajama 与 LAION-2B-en 约 50% 文档重复，并有 PII 与基准泄漏 [4]。黑盒检测有 Min-K% Prob 与 TS-Guessing（Deng 等，NAACL 2024：ChatGPT、GPT-4 在 MMLU 上复现被遮蔽选项的比例为 52%、57%，arXiv 2311.09783）[5]。n-gram 去污染覆盖不了改写式污染，封闭模型也无法被证伪。工具实现见 datatrove 与 NeMo Curator（文本）。

来源

1. https://arxiv.org/abs/2406.17557 (2026-10-15)
2. https://arxiv.org/abs/2406.11794 (2026-10-15)
3. https://arxiv.org/abs/2412.02595 (2026-10-15)
4. https://arxiv.org/abs/2310.20707 (2026-10-15)
5. https://arxiv.org/abs/2310.16789 (2026-10-15)
6. https://arxiv.org/abs/2311.09783 (2026-10-15)