CCI 系列（CCI3.0 / CCI3.0-HQ / CCI 4.0，智源）
智源中文互联网语料联盟，从 1TB 到 35TB 的三代中文语料
- 成立
- 2024-09
- 总部
- 北京
- 数据类型
- 中文网页；高质量子集；合成 CoT；多语种
- 规模口径
- CCI3.0 约 1000GB、2.68 亿+ 网页、20+ 来源；CCI3.0-HQ 约 498GB；CCI4.0-M2-V1（2025-05）总 35TB，其中 Base 约 26TB（中文约 4.3TB）、CoT 425B token / 4 亿+ 条合成推理轨迹
- License
- CCI3.0 数据卡标 Apache-2.0（gated）；CCI4.0 Base 内混合来源，部分 Apache-2.0，其他沿用各自许可（含 CC-BY-NC-4.0、ODC-BY），许可复杂的数据放入 Extra 子集；CCI3.0-HQ 数据卡未标明 ⚠️
- 链接
- arxiv.org；huggingface.co
内容与规模
CCI3.0 约 1000GB，来自 2.68 亿+ 网页、20 多个来源。CCI3.0-HQ 约 498GB：先用 Qwen2-72B-Instruct 标注样本，再蒸馏出 0.5B 分类器做两阶段混合过滤；作者用 0.5B 模型训 100B token，在 10 个零样本基准上优于 CCI3.0、SkyPile 与 WanJuan v1 [1][2]。
CCI 4.0
2025-05-06 发布 CCI4.0-M2-V1，总计 35TB：Base 约 26TB、CoT 子集 425B token（逆向合成的推理轨迹，生成模型发布稿未点名），Extra 子集含需单独授权的数据；Base 中 Nemotron-CC 部分只发元数据与分数。贡献单位包括阿里云、上海 AI Lab、华为、昆仑万维、面壁、MiniMax、月之暗面等 14 家机构 [3][4]。
局限
教师模型使用条款与再发布许可是否兼容，公开材料未说明 ⚠️；CCI3.0 token 数未披露。CCI4.0 的 CoT 规模口径不一：智源发布稿称 4 亿+ 条 / 425B token，论文摘要写 45 亿条模板，数据卡写 4.3 亿条 ⚠️；论文称 Base 英文部分主要取自 Nemotron-CC（22.5TB）。
来源
相关卡片
改写式合成（WRAP / BeyondWeb / Nemotron-CC）概念与方法
用 LLM 重述真实网页，保留事实锚点以提升信息密度
Infinity-Instruct（智源，含 COIG）数据集 · 中国
智源开源的千万级中英指令数据，经演化与诊断过滤合成
MAP-CC / CT-LLM数据集 · 中国
M-A-P 开源的清洗中文网页语料，配套中文优先的 2B 模型
SkyPile-150B数据集 · 中国
昆仑万维开放的约 150B token 中文网页语料
WuDaoCorpora数据集 · 中国
智源悟道项目的中文网页语料，全量未开放
书生·万卷 WanJuan（含 OpenDataLab）数据集 · 中国
上海人工智能实验室的多模态语料与 OpenDataLab 发布渠道
卡片整理 2026-10-15。公司自报数据标“公司口径”；⚠️ 为未经独立核实。