DCLM（DataComp-LM）
240T token 的 CC 标准化数据池与 fastText 过滤基线
- 成立
- 2024-06
- 数据类型
- 过滤网页文本；数据池
- 规模口径
- 标准化 CC 池 240T token；DCLM-baseline 约 4T token / 30 亿文档（数据卡口径）
- License
- CC-BY-4.0（dclm-baseline-1.0 数据卡标注）
- 链接
- arxiv.org；huggingface.co
内容与规模
DCLM 是学术联盟（DataComp / mlfoundations，多所高校参与）提出的数据策展基准：提供 240T token 的标准化 Common Crawl（含 Common Crawl Foundation） 池，让各方在固定训练配方下比较过滤方法 [1]。基线用 fastText 分类器，正例取 OpenHermes-2.5 与 ELI5，按分位数阈值保留头部 [1]。
结果与用途
7B 模型在 DCLM-baseline 上训练 2.6T token，MMLU 约 64%，作者称比 MAP-Neo 高 6.6 个点且少用约 40% 算力 [1]。数据卡标 CC-BY-4.0，称 baseline 为 DCLM 池的子集 [2]。
已知缺陷
- 与 FineWeb / FineWeb-Edu / FineWeb-2 / FinePDFs（Hugging Face） 的教育子集同属分类器过滤路线，被 Nemotron-CC / v2（NVIDIA） 指为丢弃约 90% 数据。
- Zyphra 称 DCLM 与 FineWeb-Edu 内部重复约 80%（公司口径），并据此做了跨集去重（见 TxT360 与 Zyda-2）[3]。
来源
相关卡片
去重与质量过滤概念与方法
MinHash 去重、模型打分过滤与评测去污染构成语料策展主链路
Common Crawl（含 Common Crawl Foundation）数据集 · 美国
非营利网页抓取归档，几乎所有开放网页语料的上游
FineWeb / FineWeb-Edu / FineWeb-2 / FinePDFs（Hugging Face）数据集 · 美国
Hugging Face 的过滤网页语料（首发 15T token，现版约 18.5T）及教育、多语种、PDF 衍生集
Nemotron-CC / v2（NVIDIA）数据集 · 美国
分类器集成加 LLM 改写，把 CC 保留量做到 6.3T token
TxT360 与 Zyda-2数据集 · 全球
跨快照、跨数据集全局去重的 5T 级混合语料
卡片整理 2026-10-15。公司自报数据标“公司口径”；⚠️ 为未经独立核实。