开源模型数据配比总表

披露度分三档

• 有精确占比：Llama 3（通用知识约 50% / 数学与推理 25% / 代码 17% / 多语言 8%，约 15T 多语言 token，均已与论文原文核对）[1]；SmolLM3；Olmo 3 中训混合。
• 只给总量与阶段结构：Qwen3（36T、119 语言）、DeepSeek-V3（14.8T）、Kimi K2（15.5T）。
• 基本不披露：Mistral、Gemma 3、Llama 4。占比总表只能部分填满，空格本身就是结论。

代表数据

• SmolLM3：11.2T；阶段 1（0–8T）web 85% / 代码 12% / 数学 3%；阶段 2（8–10T）web 75% / 代码 15% / 数学 10%；阶段 3（10–11.1T，衰减期）web 63% / 代码 24% / 数学 13%；各阶段 web 中多语均占 12%；博客总量写 11.2T，三阶段区间止于 11.1T（公司口径）[3]。
• Olmo 3：7B 一个 epoch 5.93T、32B 在 5.93T 的余弦计划上于 5.5T 截断；中训 Dolmino 100B、长上下文延伸 7B 50B / 32B 100B（论文）；中训 Dolmino 约 100B，其中网页 28% / 代码 20% / 数学 19% / QA 14% / 思维 8%（第三方镜像模型卡，二手；论文可读部分未见该分项，未核 ⚠️）[2]。
• DCLM：池 240T，baseline 7B 训练 2.6T token、MMLU 5-shot 64%（论文摘要；DCLM-baseline 数据集约 4T token / 30 亿文档，4T 指数据集规模而非训练量）[4]。

口径陷阱

“通用知识”含 web + 书籍，SmolLM3 的 web 含多语，定义不一；Llama 4 的 token 数（Scout 40T / Maverick 22T 与“30T+”并存）仍为二手 ⚠️。

来源

1. https://arxiv.org/abs/2407.21783 (2026-10-15)
2. https://arxiv.org/abs/2512.13961 (2026-10-15)
3. https://www.huggingface.co/blog/smollm3 (2026-10-15)
4. https://arxiv.org/pdf/2406.11794 (2026-10-15)