书生·万卷 WanJuan（含 OpenDataLab）
上海人工智能实验室的多模态语料与 OpenDataLab 发布渠道
- 成立
- 2023-08
- 总部
- 上海
- 数据类型
- 中英文网页；法律；新闻；考试；教材；图文；视频
- 规模口径
- WanJuan 1.0 总量超 2TB（文本 1TB+、6 亿+ 文档；图文约 2200 万文档 / 200GB+（论文 v3 口径，早期二手稿写 140GB+）；视频 1000+ 个、900GB+）；WanJuan-CC 由约 68B 英文 CC 文档得 2.22T token 安全数据，精选 1.0T
- License
- ⚠️ 未核实（官方页未见；二手称 CC BY 4.0）；后续 WanJuan 多语种子集 HF 数据卡标 CC-BY-4.0
- 链接
- arxiv.org；huggingface.co
内容与规模
WanJuan 1.0 于 2023-08 发布（论文 arXiv 2023-08-21；具体发布日 ⚠️ 未核到一手来源），涵盖网页、法律、新闻、考试、教材等来源及图文、视频，总量超 2TB [1]。WanJuan-CC 则从 Common Crawl（含 Common Crawl Foundation） 清洗出英文高质量子集；论文摘要当前版称开源 100B token（早期版本曾写 300B）[2]。OpenDataLab 是上海 AI Lab 的数据开放平台与发布渠道。
谁拿它训练
InternLM 系列（公司口径）；InternLM2 预训练文本约 13.5TB（据论文表 1 各来源字节数加总）、网页占 86.46% [3]。路线是以大规模自动清洗替代小量人工标注。
局限
WanJuan 1.0 许可未核；2.0/3.0 公开资料未查到；与 CCI 系列（CCI3.0 / CCI3.0-HQ / CCI 4.0，智源）、SkyPile-150B 的评测对比多为作者自报。
来源
相关卡片
卡片整理 2026-10-15。公司自报数据标“公司口径”；⚠️ 为未经独立核实。