Data / 大模型 / 实体卡片

Common Pile v0.1 / Comma（含 peS2o / S2ORC）

数据集美国语料

EleutherAI 仅用公有领域与开放许可文本构建的 8TB 语料

成立
2025-06
数据类型
公有领域书籍；开放许可论文；代码；政府文件；论坛
规模口径
约 8TB，30 个来源；Comma v0.1-1T / 2T 为 7B 模型；peS2o v1 约 6756 万文档
License
分来源，均为公有领域或开放许可；peS2o 为 ODC-By
链接
arxiv.org；www.eleuther.ai

内容与规模

EleutherAI 联合 Poolside、Hugging Face 与多所高校，历时约两年整理出约 8TB、30 个来源的公有领域与开放许可文本，并逐来源人工校验许可 [1][2]。配套模型 Comma v0.1（7B，1T / 2T token）。

学术部分

peS2o 是 Ai2 清洗的 S2ORC 开放获取论文语料，ODC-By，v1 约 6756 万文档、473.7 亿词元（空格分词）[3]，也进入 Dolma / Dolma 3（Ai2；含 Dolma toolkit、Olmo 3 数据） 的学术部分。

意义与局限

作者口径：仅用开放许可文本可训出与 Llama 1/2 7B 竞争的 7B 模型；但在多数评测上仍被 FineWeb / FineWeb-Edu / FineWeb-2 / FinePDFs（Hugging Face） 系列超过（第三方转述）。它是 Books3 / The Pile（含 Anna's Archive、书籍与学术语料） 路线与 Bartz v. Anthropic 之后“合规优先”的代表，量级远小于抓取网页。

来源

  1. https://arxiv.org/pdf/2506.05209 (2026-10-15)
  2. https://www.eleuther.ai/papers-blog/the-common-pile-v01-an-8tb-dataset-of-public-domain-and-openly-licensed-text (2026-10-15)
  3. https://huggingface.co/datasets/allenai/peS2o (2026-10-15)

相关卡片

Bartz v. Anthropic概念与方法 · 美国
训练被认定合理使用但盗版库留存不是，以 $15 亿和解收场
Books3 / The Pile（含 Anna's Archive、书籍与学术语料）数据集 · 全球
含盗版书的 The Pile 子集，及影子图书馆引发的训练版权争议
Dolma / Dolma 3（Ai2；含 Dolma toolkit、Olmo 3 数据）数据集 · 美国
Ai2 全开放预训练语料及配套去重过滤工具

卡片整理 2026-10-15。公司自报数据标“公司口径”；⚠️ 为未经独立核实。