Data / 大模型 / 实体卡片

多语种语料（CulturaX / mC4 / ROOTS）

数据集全球语料

覆盖百种以上语言的开放多语种预训练语料

成立
2023-09
数据类型
多语种网页；多语种文本
规模口径
CulturaX 6.3T token / 167 语言 / 27TB（mC4 约 66% + OSCAR 约 34%）；ROOTS 约 1.6TB（⚠️ 未核）；FineWeb-2 约 20TB / 1000+ 语言
License
混合：mC4 沿用 ODC-By；CulturaX 为 gated，沿用 mC4 与 OSCAR 条款（⚠️ 未逐条核）；ROOTS 分来源许可（⚠️ 未核）
链接
arxiv.org；arxiv.org

内容与规模

CulturaX（2023-09）把 mC4 3.1.0 与 OSCAR 20.19–23.01 合并，经语种识别、URL 过滤、指标清洗与 MinHash 文档级去重，得到 6.3T token、167 种语言 [1]。mC4（2020）是 T5 的多语种版；ROOTS（BigScience，2022）按“数据治理”思路逐来源收集，用于 BLOOM。

新一代

FineWeb / FineWeb-Edu / FineWeb-2 / FinePDFs（Hugging Face） 系列的 FineWeb-2 把 FineWeb 流水线按语言调参，扩展到 1000+ 语言、约 20TB [3]。

局限

低资源语言的 CC 抓取本身稀薄；语种识别误判会污染小语种；CulturaX 的许可是上游两套条款的叠加，下游商用需自行核查。

来源

  1. https://ar5iv.labs.arxiv.org/html/2309.09400 (2026-10-15)
  2. https://huggingface.co/datasets/uonlp/CulturaX (2026-10-15)
  3. https://arxiv.org/pdf/2506.20920 (2026-10-15)

相关卡片

去重与质量过滤概念与方法
MinHash 去重、模型打分过滤与评测去污染构成语料策展主链路
Common Crawl（含 Common Crawl Foundation）数据集 · 美国
非营利网页抓取归档，几乎所有开放网页语料的上游
FineWeb / FineWeb-Edu / FineWeb-2 / FinePDFs（Hugging Face）数据集 · 美国
Hugging Face 的过滤网页语料（首发 15T token，现版约 18.5T）及教育、多语种、PDF 衍生集
RefinedWeb 与 C4 / mC4（规则过滤原型）数据集 · 全球
靠规则过滤与去重把 CC 洗成可训数据的早期原型

卡片整理 2026-10-15。公司自报数据标“公司口径”；⚠️ 为未经独立核实。