Ultra-FineWeb（含 UltraChat v2）

内容与规模

Ultra-FineWeb 来自面壁（OpenBMB）：在 FineWeb / FineWeb-Edu / FineWeb-2 / FinePDFs（Hugging Face） 与中文 FineWeb（来源含 WuDao、SkyPile、WanJuan、CCI3 等，见 WuDaoCorpora、SkyPile-150B、书生·万卷 WanJuan（含 OpenDataLab）、CCI 系列（CCI3.0 / CCI3.0-HQ / CCI 4.0，智源））上，用“验证驱动”的方式挑选 fastText 分类器的正负样本，再轻量筛选，英文约 1T、中文约 120B token [1]。

谁拿它预训练

面壁 MiniCPM4 / 4.1（公司口径 8T token，使用 UltraFineWeb 中英数据）[3]。同一技术报告里，SFT 阶段采用合成管线 UltraChat v2：从教材、考纲提取知识点，由 LLM 生成问答并演化，覆盖知识、推理、指令遵循、长上下文、工具五类；占比与教师模型在已读段落中未披露 ⚠️ [3]。

局限

收益为作者口径，缺独立复现；依赖上游 CC 的网页质量。许可：数据集卡标 Apache-2.0，同时提示因由多个数据集构建，使用者须逐一核对各来源许可；上游网页版权不因此解决。

来源

1. https://arxiv.org/pdf/2505.05427 (2026-10-15)
2. https://huggingface.co/datasets/openbmb/Ultra-FineWeb (2026-10-15)
3. https://arxiv.org/pdf/2506.07900 (2026-10-15)