WuDaoCorpora

内容与规模

WuDaoCorpora 是北京智源研究院悟道项目的中文语料，经 20 多条清洗规则从约 100TB 原始网页处理而来，文本全量超 5TB，公开部分（WuDaoCorpora 2.0 base）约 200GB；2021 年 6 月随悟道 2.0 发布，另含图文（6.3 亿对 / 90TB）与对话（181GB）两部分 [1]。

用途

早期国产大模型的重要中文来源之一，具体哪些模型使用过其全量版 ⚠️ 未核。智源后续把重心放到 CCI 系列（CCI3.0 / CCI3.0-HQ / CCI 4.0，智源） 系列。

已知缺陷

• 全量与公开版相差约 15–25 倍（取 3TB 或 5TB+ 口径），公开版不代表训练所用版本；体量说法在不同来源间不一致。
• 2026-08 的 arXiv 论文用采样 BPE token 统计审计 11 个开放中文语料，称污染普遍但分布不均；摘要未逐库点名结论，WuDao 单库结果未核 ⚠️ [2]。
• 开放中文语料整体体量远小于英文，头部模型的主体语料不开源。

来源

1. https://data.baai.ac.cn/details/WuDaoCorporaText (2026-10-15)
2. https://arxiv.org/pdf/2608.10678 (2026-10-15)