Data / 大模型 / 实体卡片

SkyPile-150B

数据集中国语料

昆仑万维开放的约 150B token 中文网页语料

成立
2023-10
数据类型
中文网页文本
规模口径
开放部分约 150B token / 620GB（数据卡口径），约 2.33 亿网页（每页 1000+ 汉字）；SkyPile 全量超 6T token（公司口径）
License
Skywork Community License（数据卡称支持商用；使用 Skywork 模型及衍生品商用须同时遵守该协议与 Apache-2.0）
链接
huggingface.co

内容与规模

SkyPile 是昆仑万维 Skywork 团队从公开中文网页构建的语料：规则、fastText 与 BERT 过滤，去重并做敏感内容过滤。全量超 6T token（公司口径），Skywork-13B 训练 3.2T token；对外开放约 150B token / 620GB [2][3]。

谁拿它训练

Skywork-13B（README 口径配比：英文 52.2%、中文 39.6%、代码 8%）。

局限

来源

  1. https://huggingface.co/datasets/Skywork/SkyPile-150B (2026-10-15)
  2. https://arxiv.org/pdf/2310.19341 (2026-10-15)
  3. https://hyper.ai/en/datasets/28906 (2026-10-15)

相关卡片

CCI 系列（CCI3.0 / CCI3.0-HQ / CCI 4.0，智源）数据集 · 中国
智源中文互联网语料联盟，从 1TB 到 35TB 的三代中文语料
MAP-CC / CT-LLM数据集 · 中国
M-A-P 开源的清洗中文网页语料，配套中文优先的 2B 模型
Ultra-FineWeb（含 UltraChat v2）数据集 · 中国
面壁用验证式轻量分类器筛出的中英高质量网页语料
WuDaoCorpora数据集 · 中国
智源悟道项目的中文网页语料，全量未开放
书生·万卷 WanJuan（含 OpenDataLab）数据集 · 中国
上海人工智能实验室的多模态语料与 OpenDataLab 发布渠道

卡片整理 2026-10-15。公司自报数据标“公司口径”；⚠️ 为未经独立核实。