Nemotron-CC / v2（NVIDIA）
分类器集成加 LLM 改写，把 CC 保留量做到 6.3T token
- 成立
- 2024-12
- 总部
- Santa Clara
- 数据类型
- CC 过滤网页；改写合成文本；合成 QA；数学；代码
- 规模口径
- Nemotron-CC 6.3T token（约 1.9T 为改写合成（论文表述 1.9T，正文表 3 为 1.8T+），占约 30%）；v2 起含 8 个新增快照，Nemotron-Pretraining-Dataset-v1 集合 6.6T；另有 Nemotron-CC-Math-v1（133B）、Code-v1（427.9B）
- License
- v1 按 Common Crawl 使用条款发布（论文）；v2 及 Math/Code 子集为 HF 标 other、受 NVIDIA Data Agreement for Model Training 约束（仅限用于模型训练，需同意后访问）；各子集不同，需逐集核
- 链接
- arxiv.org；huggingface.co
内容与规模
论文论点：FineWeb / FineWeb-Edu / FineWeb-2 / FinePDFs（Hugging Face） 教育子集与 DCLM（DataComp-LM） 这类分类器过滤会丢弃约 90% 数据，15T 级长训练下独特 token 不足。Nemotron-CC 改用多分类器集成保留更多 token，并对低质文档做 Wikipedia 式改写、对高质文档做 Diverse QA 等五种改写，用 Mistral NeMo 12B 生成；合计约 1.9T 合成 token（4.4T 原文 + 1.9T 合成）、占全集约 30% [1][2]。8B 模型 15T 训练中 7.2T 来自该数据，MMLU 比 Llama 3.1 8B 高 5 点（作者口径）[1]。
v2
v2（2025-08-18）加入 8 个 2024–2025 快照，改写模型增加 Qwen3-30B-A3B（数据卡同时列 Mistral-Nemo-12B），并把 Diverse QA 译为 15 种语言；访问需同意 NVIDIA Data Agreement for Model Training [3][4]。
局限
收益为 NVIDIA 自报，缺独立复现；合成阶段算力未披露；改写方法见 改写式合成（WRAP / BeyondWeb / Nemotron-CC）。
来源
相关卡片
DatologyAI公司与机构 · 美国
预训练数据策展即服务：过滤、去重与合成改写
改写式合成（WRAP / BeyondWeb / Nemotron-CC）概念与方法
用 LLM 重述真实网页，保留事实锚点以提升信息密度
Common Crawl（含 Common Crawl Foundation）数据集 · 美国
非营利网页抓取归档，几乎所有开放网页语料的上游
DCLM（DataComp-LM）数据集 · 美国
240T token 的 CC 标准化数据池与 fastText 过滤基线
FineWeb / FineWeb-Edu / FineWeb-2 / FinePDFs（Hugging Face）数据集 · 美国
Hugging Face 的过滤网页语料（首发 15T token，现版约 18.5T）及教育、多语种、PDF 衍生集
NeMo Curator（文本）工具与格式 · 美国
NVIDIA 基于 RAPIDS 的 GPU 加速数据策展与去重工具
卡片整理 2026-10-15。公司自报数据标“公司口径”；⚠️ 为未经独立核实。