Dolma / Dolma 3（Ai2；含 Dolma toolkit、Olmo 3 数据）

内容与规模

Ai2（OLMo / Dolma / Tülu） 的 Dolma v1（2023-08 首发，论文 2024-01/02）约 3T token，混合网页、学术论文、代码、公有领域书籍、社交媒体与百科，并开源 Dolma toolkit 做过滤与去重 [1]。2025-11 的 Dolma 3（用于 Olmo 3）：候选池超 9T、Mix 约 5.9T（论文称“6T mix”），加入用 olmOCR 处理的科学 PDF，代码与数学占比高于以往，另有 Dolmino（约 100B）与 Longmino（约 50B，上下文 8,192 到 65,536）[3]。

格式与 license

Dolma v1 在 2024-04 由限制较多的 ImpACT 改为 ODC-By [2]；Dolma 3 子集数据卡标 ODC-By [4]。ODC-By 只涉及数据库权，底层文本版权不因此解决。

谁拿它预训练

OLMo 与 Olmo 3 系列；其学术论文部分对应 peS2o（见 Common Pile v0.1 / Comma（含 peS2o / S2ORC））。

局限

Dolma 3 的逐子集许可与完整配比需看各数据卡，不宜以总体 ODC-By 概括。

来源

1. https://arxiv.org/abs/2402.00159 (2026-10-15)
2. https://allenai.org/blog/making-a-switch-dolma-moves-to-odc-by-8f0e73852f44 (2026-10-15)
3. https://arxiv.org/pdf/2512.13961 (2026-10-15)
4. https://huggingface.co/datasets/allenai/dolma3_mix-6T (2026-10-15)