Data / 大模型 / 实体卡片

RefinedWeb 与 C4 / mC4（规则过滤原型）

数据集全球语料

靠规则过滤与去重把 CC 洗成可训数据的早期原型

成立
2019-10
数据类型
过滤网页文本
规模口径
C4 约 156B token（⚠️ 未核）；RefinedWeb 全量约 5T，公开约 600B（arXiv 版）/ 500B（NeurIPS 摘要口径）
License
C4 为 ODC-By（数据卡标注）；RefinedWeb 公开部分为 ODC-By
链接
arxiv.org；arxiv.org

内容与规模

C4（T5 论文，2019-10）取 Common Crawl（含 Common Crawl Foundation） 2019-04 单快照，用启发式规则加脏词黑名单过滤并做三句 span 精确去重；多语种版 mC4 用于 mT5 [1][3]。RefinedWeb（TII，2023）主张“只用严格过滤和去重的网页也能训出强模型”，全量约 5T token，公开约 500–600B（两版论文口径不一）[2][4]。

意义

二者是“规则过滤”的原型：后来的 FineWeb / FineWeb-Edu / FineWeb-2 / FinePDFs（Hugging Face） 在其上增加逐快照去重，DCLM（DataComp-LM） 与 FineWeb-Edu 再改用模型打分过滤。RefinedWeb 是 Falcon 系列的主要语料。

缺陷

规则过滤会误伤少数方言与非标准文本；单快照或逐快照去重无法消除跨快照重复（见 TxT360 与 Zyda-2）。

来源

  1. https://arxiv.org/abs/1910.10683 (2026-10-15)
  2. https://arxiv.org/abs/2306.01116 (2026-10-15)
  3. https://huggingface.co/datasets/allenai/c4 (2026-10-15)
  4. https://huggingface.co/datasets/tiiuae/falcon-refinedweb (2026-10-15)

相关卡片

去重与质量过滤概念与方法
MinHash 去重、模型打分过滤与评测去污染构成语料策展主链路
Common Crawl（含 Common Crawl Foundation）数据集 · 美国
非营利网页抓取归档，几乎所有开放网页语料的上游
FineWeb / FineWeb-Edu / FineWeb-2 / FinePDFs（Hugging Face）数据集 · 美国
Hugging Face 的过滤网页语料（首发 15T token，现版约 18.5T）及教育、多语种、PDF 衍生集
多语种语料（CulturaX / mC4 / ROOTS）数据集 · 全球
覆盖百种以上语言的开放多语种预训练语料

卡片整理 2026-10-15。公司自报数据标“公司口径”；⚠️ 为未经独立核实。