FineWeb / FineWeb-Edu / FineWeb-2 / FinePDFs（Hugging Face）
Hugging Face 的过滤网页语料（首发 15T token，现版约 18.5T）及教育、多语种、PDF 衍生集
- 成立
- 2024-04
- 总部
- New York / Paris
- 数据类型
- 过滤网页文本；教育价值子集；多语种网页；PDF 文本
- 规模口径
- FineWeb 首发 15T token，现版约 18.5T（论文口径 96 个快照；数据卡截至 v1.4.0 含 110 个快照）；FineWeb-Edu 阈值 3 约 1.3T token；FineWeb-2 约 20TB / 50 亿文档 / 1000+ 语言（1,868 个语种-文字对）；FinePDFs 约 3T token / 4.75 亿文档 / 1733 种语言
- License
- ODC-By 1.0（数据卡标注；仅覆盖数据库权，不解决底层网页版权）
- 链接
- huggingface.co；arxiv.org
内容与规模
FineWeb 由 Hugging Face（Hub / Datasets） 用 datatrove 从 Common Crawl（含 Common Crawl Foundation） 快照处理而成，首发（v1.0.0，2024-04）约 15T token，逐快照去重；此后数据卡增补快照，现超 18.5T token [1][2]。FineWeb-Edu 用 Llama-3-70B-Instruct 标注“教育价值”，训练分类器后取阈值 3，得到约 1.3T token；阈值 2 的版本约 5.4T [1]。FineWeb-2（2024-12）把流水线扩展到 1000+ 语言，约 20TB / 50 亿文档 [3]。FinePDFs（2025-09）用 Docling 与 RolmOCR 处理 CC 中的 PDF，约 3T token [4]。
格式与 license
均为 Parquet，ODC-By 1.0 [2]。
谁拿它预训练
HF 自家 SmolLM 系列；也是 TxT360 与 Zyda-2、Zyda-2 等二次加工的输入。
已知缺陷
- FineWeb-Edu 与 DCLM（DataComp-LM） 同属分类器过滤路线，被 Nemotron-CC / v2（NVIDIA） 指为丢弃约 90% 数据。
- 数据卡快照数（110）与论文（96）口径不一，使用时需标出版本。
- FinePDFs 数据卡标 1733 种语言、105 个 CC 快照；早先二手来源的语言数口径不一，以数据卡为准。
来源
相关卡片
Hugging Face（Hub / Datasets）公司与机构 · 美国
开放数据集与模型的事实标准托管平台，也是头号开放语料供给方
去重与质量过滤概念与方法
MinHash 去重、模型打分过滤与评测去污染构成语料策展主链路
Common Crawl（含 Common Crawl Foundation）数据集 · 美国
非营利网页抓取归档，几乎所有开放网页语料的上游
DCLM（DataComp-LM）数据集 · 美国
240T token 的 CC 标准化数据池与 fastText 过滤基线
Nemotron-CC / v2（NVIDIA）数据集 · 美国
分类器集成加 LLM 改写，把 CC 保留量做到 6.3T token
TxT360 与 Zyda-2数据集 · 全球
跨快照、跨数据集全局去重的 5T 级混合语料
多语种语料（CulturaX / mC4 / ROOTS）数据集 · 全球
覆盖百种以上语言的开放多语种预训练语料
datatrove工具与格式 · 美国
Hugging Face 开源的大规模文本处理、过滤与去重流水线库
卡片整理 2026-10-15。公司自报数据标“公司口径”；⚠️ 为未经独立核实。