The Stack v1/v2(BigCode;含 StarCoder2)

数据集全球语料

BigCode 的许可感知开源代码语料,v2 基于 Software Heritage

成立
2022-10
数据类型
源代码;PR;Kaggle notebook;文档
规模口径
v1.0 约 3TB / 30 种语言,v1.1 起数据卡称 6TB+ / 358 种语言(常被引用为 6.4TB);v2 约 67.5TB(去重后约 32.1TB)、600+ 语言(论文 619 种),StarCoder2 训练集约 900B+ 唯一 token、模型训练 3.3–4.3T token
License
逐文件遵循原仓库的开源许可;数据集为 gated,需同意使用条款;StarCoder2 模型为 OpenRAIL
链接
huggingface.co;www.bigcode-project.org

内容与规模

BigCode 是 Hugging Face 与 ServiceNow 联合治理的项目。The Stack v1(2022-10)仅收宽松许可仓库,v1.1 起数据卡称 6TB+(常被引用为 6.4TB,⚠️ 数据卡未见该数字);v2(2024-02)以 Software Heritage 归档为底,加入 PR、Kaggle notebook 和文档,约 67.5TB(去重后约 32.1TB)、600+ 语言 [1][2]。

许可与合规做法

宽松许可过滤、“Am I in The Stack”检查器、opt-out 机制:退出请求在后续版本中剔除(已发布版本不回溯);v2 通过 SWHID 可追溯,批量下载需与 SWH/Inria 签协议 [1][2]。

谁拿它预训练

StarCoder、StarCoder2(3B/7B/15B,3.3–4.3T token)[3]。

局限

宽松许可仍有署名要求;针对 GitHub Copilot 的开源许可诉讼本文未核实 ⚠️。

来源

  1. https://huggingface.co/datasets/bigcode/the-stack-v2 (2026-10-15)
  2. https://www.bigcode-project.org/docs/about/the-stack/ (2026-10-15)
  3. https://arxiv.org/abs/2402.19173 (2026-10-15)

卡片整理 2026-10-15。公司自报数据标“公司口径”;⚠️ 为未经独立核实。