Tülu 3（SFT mixture / 合成配方 / Dolci）

内容与规模

Ai2（OLMo / Dolma / Tülu） 在 2024-11 公开 Tülu 3：SFT 混合 939,344 条，包含 Persona MATH（149,960）、WildChat GPT-4 子集（100,000）、Aya（100,000）、Evol CodeAlpaca（107,276）、FLAN v2（89,982）、NuminaMath-TIR（64,312）等，人工写作的占少数 [1][2]。偏好数据 8B 为 271,409 条；RLVR 阶段仅 29,946 条可验证 prompt（GSM8K、MATH、IFEval 类），“可验证”本身比数据量更关键，见 RLVR 可验证奖励强化学习 [1]。

license 与配方延续

混合集整体标 ODC-BY-1.0，页面同时注明部分子集为非商用（如 No Robots）；页面自述条数与子集加总相差约 5 万，原因未查到 ⚠️ [2]。OLMo 2 指令版沿用该配方 [3]，Olmo 3 的后训练数据称 Dolci（Think / Instruct 的 SFT、DPO、RL 各子集）[4]。

局限

用 GPT-4 等生成或标注的子集受提供方服务条款制约；去污染规则细节未取到一手文本。

来源

1. https://arxiv.org/abs/2411.15124 (2026-10-15)
2. https://huggingface.co/datasets/allenai/tulu-3-sft-mixture (2026-10-15)
3. https://arxiv.org/abs/2501.00656 (2026-10-15)
4. https://huggingface.co/datasets/allenai/Dolci-Instruct-DPO (2026-10-15)