合成数据与蒸馏

一句话结论

1. 合成数据已是主流配方的结构性成分：Phi-4 约 10T token 预训练混合中纯合成占 40%、网页改写占 15%（合计约 55%）[1]；Nemotron-CC 6.3T token 中约 1.9T（约 30%）是 LLM 改写产出 [7]；Nemotron-4 340B 对齐数据 98% 以上合成，仅约 2 万条人工标注 [25]。
2. 合成分三类，约束不同：改写真实文档（WRAP、Nemotron-CC、Kimi K2）保留事实锚点、最稳；无种子的教科书/指令生成（Phi-1、Cosmopedia、Magpie）靠教师知识，多样性与事实性是风险；教师推理轨迹蒸馏（R1 的 800K、OpenThoughts）数据量小（1K 至 1.2M 条）但效果显著，也是合规争议的中心。
3. 生成成本远低于人工：作者估算生成 1B 输出 token，开源自部署约 $60–1,600，DeepSeek V4.1-Flash 约 $750，前沿闭源模型标准价 $12,000–60,000（Batch 半价）；偏好标注 RLAIF 论文估算 AI 约 $0.06/条，较人工低 10 倍以上 [27]。成本主要落在筛选、验证与锚点，不在生成。
4. 模型坍缩的结论要拆开读：替换式递归训练会丢分布尾部 [39]，累积真实数据时误差有上界 [40]，有验证器时可避免 [41]；三篇均不在前沿规模，工业实践（改写保真、混入真实数据、验证过滤）等价于"累积 + 验证"路线。
5. 蒸馏已从技术议题变成地缘政策议题，法律基础主要是服务条款而非版权：Anthropic 2026-02-23 公告称约 2.4 万欺诈账号、1,600 万+ 次交互（MiniMax 1,300 万+、Moonshot 340 万+、DeepSeek 15 万+）[43]。全部为指控，无司法认定，中方否认。
6. 与 robotics 专栏对应层的差异：LLM 合成的瓶颈是教师选择与验证过滤、成本按 token 计价；机器人仿真合成则受物理保真与 sim-to-real 差距约束，无法用"改写真实数据"这类低成本手段放大。

口径约定：论文/技术报告数字为"论文口径"；公司自述为"公司口径"；媒体转述为"媒体口径"；按公开单价所做推算标"作者估算"。

生产方式

教科书式合成（无种子或弱种子）

用强教师模型从零生成"教科书质量"的讲解与习题，是 Phi 系列（Microsoft，含 TinyStories） 的核心路线。

Phi-4 合成流程（论文附录）：先对网页/书籍/论文摘录打复杂度、事实冷僻度、是否含推理链等元数据以筛选种子；让模型出题后按"所需外部知识、错误选项合理性"等标准自我批评并多轮修订。后训练阶段用 GPT-4o 生成与评判数据。论文称 STEM QA 超过教师 GPT-4，用来论证"超越蒸馏"（论文自报）[1]。

网页改写（保留事实锚点）

即 改写式合成（WRAP / BeyondWeb / Nemotron-CC）：以真实文档为输入，改写为更高信息密度或不同体裁。

• WRAP（2024-01）：现成指令模型把 C4 文档改写成"Wikipedia 风格""问答格式"；同算力下 Pile 子集平均困惑度降 10% 以上，13 个 QA 任务零样本准确率升 2% 以上，预训练约快 3 倍（论文口径）[6]。
• Nemotron-CC / v2（NVIDIA）（NVIDIA，2024-12）：英文 Common Crawl 共 6.3T token，用 Mistral NeMo 12B（FP8，temperature 0.5）改写。低质文档用 Wikipedia 式改写，生成 336.3B（原始 403.0B）；高质文档用 Wikipedia 式 / Diverse QA / Distill / Extract Knowledge / Knowledge List 五种，生成 1,536.8B（原始 451.3B）；中质文档不做合成。合计约 1.87T 合成 token，约占全集 30%、占 Nemotron-CC-HQ（1.1T）约 45%。8B 模型 15T token 训练中 7.2T 来自该数据，MMLU 比 Llama 3.1 8B 高 5 分 [7]。
• Nemotron-CC-v2（2025）：集合共 6.6T token；改写模型为 Qwen3-30B-A3B；含翻译为 15 种语言的合成 QA [8]。后续 v2.1 约 2.5T 英文 token，改写模型未查到。
• Kimi / 月之暗面 Moonshot K2（2025-07）：预训练 15.5T token；知识类数据"多风格重述 + 分块 + 保真度校验，每个语料最多改写两次"；数学数据改写成"学习笔记"体并翻译多语材料。SimpleQA 实验：原始维基文本训练 10 个 epoch 得 23.76；改写 1 次训练 10 epoch 得 27.39；改写 10 次训练 1 epoch 得 28.94 [9]。
• BeyondWeb（DatologyAI，2025-08）：定向改写；论文称相对开放网页数据训练最高快 7.7 倍、相对 Nemotron-Synth 快 2.7 倍，3B 模型用其训练超过用 Cosmopedia 训练的 8B（180B token 预算）；改写模型超过 3B 后收益递减。均为公司口径 [10]。

指令合成

UltraChat、OpenHermes 2.5 仅通过 Cosmopedia 种子来源间接确认存在，规模未核。

推理轨迹蒸馏

• DeepSeek-R1（论文，含 R1 蒸馏路径）（2025-01）：800K 监督样本（实际 804,745；推理约 60 万，由第一阶段 RL checkpoint 拒绝采样，部分答案用 DeepSeek-V3 判别；非推理约 20 万）；数学 395,285、代码 211,129 为最大领域；用于微调 Qwen/Llama 系小模型，公开 R1-Distill 系列 [17]。DeepSeek（深度求索） V3（2024-12）14.8T 预训练，后训练蒸馏 R1 系列推理能力；2.788M H800 GPU 小时按 $2/小时折 $5.576M（仅算力，假设值，不含研发）[18]。
• Sky-T1（2025-01）：约 1.7 万条，QwQ-32B-Preview 生成轨迹、GPT-4o-mini 重写格式；8×H100 训练约 19 小时，作者称总成本低于 $450 [19]。
• s1（2025-01）：s1K 共 1,000 条，Qwen2.5-32B-Instruct 做 SFT 配合 budget forcing，AIME24 从 50% 到 57%；LIMO（2025-02）用约 1% 数据量，AIME24 63.3%、MATH500 95.6%（论文口径）[20]。
• OpenThoughts（含 Sky-T1）（Bespoke Labs 等，2025-06）：OpenThoughts2-1M、OpenThoughts3-1.2M，教师 QwQ-32B；OpenThinker3-7B 在 AIME25 53%、LiveCodeBench 51%、GPQA-D 54%，较 R1-Distill-Qwen-7B 分别高 15.3/17.2/20.5 个百分点（论文口径）[21]。
• Phi-4-reasoning（2025-04）：以 o3-mini 生成推理示范，对 14B Phi-4 做 SFT，Plus 版加短程结果型 RL，称超过 R1-Distill-Llama-70B 并接近完整 R1（论文口径）[22]。
• Qwen / 阿里通义3（2025-05）：长 CoT 冷启动数据由 QwQ-32B 生成多条候选，经 Qwen2.5-72B-Instruct 筛查询、答案校验、去重复/语言混杂，难例人工复核；小模型用"强到弱蒸馏"，先离策略再在策略（匹配教师 logits 的 KL）[23]。
• Kimi K2 agentic 合成：收集 3,000+ 真实 MCP 工具，进化出 20,000+ 合成工具；用不同 system prompt 与工具组合生成数千个 agent，LLM judge 按 rubric 过滤，产出数万条训练样本 [9]。关联 RLVR 可验证奖励强化学习。

AI 反馈偏好

• Nemotron-4 340B 合成对齐管线（2024-06）：对齐数据 98% 以上合成；NVIDIA 模型卡称仅约 2 万条人工标注；Instruct 模型生成、Reward 模型（基于 HelpSteer2，约 1 万对响应，CC-BY-4.0；五维度 helpfulness/correctness/coherence/complexity/verbosity）过滤；管线开源 [25]。"10 万条人工标注"的早先二手口径查不到，不采用。
• Llama 3（2024-07，Meta）：代码 SFT 合成 270 万+ 条，其中约 100 万条为"生成问题与解答 → 静态分析/lint/模型自写单测 → 失败则带报错修订 → 全通过才保留"的执行反馈对话，约 20% 初始错误解答被自我修正；另有跨语言翻译与回译（约 120 万条，按回译忠实度过滤）。对每个人工 prompt 采样 10–30 个输出，用 reward model 选最优做拒绝采样 [26]。
• Qwen2.5（2024-12）：用 Qwen2-72B-Instruct 与 Qwen2-Math-72B-Instruct 生成数学/代码/知识合成数据，RM 过滤；SFT 100 万+、DPO 约 15 万对；合成占比未披露 [24]。
• 偏好数据集（UltraFeedback / Anthropic HH-RLHF / OpenAssistant oasst1） 中的 UltraFeedback（2023-10）：GPT-4 对多模型回答多维度打分，25 万对话、100 万+ GPT-4 反馈 [14]。
• RLAIF（Google，2023-09）：AI 偏好标注每条约 $0.06（按当时 GPT-4 价格、含交换顺序两次推理的论文脚注估算），论文称较人工低 10 倍以上；人工对照价为按词计价的云标注服务，单位不同，仅量级参考 [27]。

厂商与渠道

合成数据在 LLM 侧的主要"供给方"是模型公司自身与开源社区；独立厂商体量小、并购为主。

其他：Mostly AI（奥地利，Series B $2,500 万，2022-01）、Tonic.ai（美国，Series B $3,500 万，2021）偏隐私/测试数据合成，Synthesis AI 偏计算机视觉，与 LLM 训练数据相关度低；Synthesis AI 的 Globant 官方稿为"战略合作"，不是收购 [34]。Scale 2022 年推出的 Synthetic 面向视觉数据增强，未查到 Scale AI 的 LLM 合成产品或收购合成数据公司的证据 [34]。

中国：Infinity-Instruct（智源，含 COIG）（智源）的 740 万 + 150 万两阶段管线 [16]；上海 AI Lab（书生 InternLM） InternLM3 官方称以 4T 训练数据达到同量级领先、训练成本降 75% 以上（官方口径），后训练合成管线细节仅有二手整理 ⚠️未核实；UniPat AI UniScientist 为"LLM 出题 + 专家验题"，4,700+ 样本，自报数据 ⚠️。中国专门的独立合成数据供应商未查到可核资料，技术信息主要来自模型公司技术报告。沙利文/IIM 口径合成数据市场约 $52 亿（2025，+41%）⚠️媒体/机构口径，未取得原报告，与标注服务口径不可互比，不建议与具体融资并列。

应用方式

按训练阶段

各模型报告中的合成占比

Phi-4 的两种口径（"约 4,000 亿 token"与"40%"）不是同一个量：

• "约 4,000 亿 token"：50 类合成数据未加权的唯一 token 合计；
• "40%"：合成数据在 10T token 训练混合中的加权占比；其唯一合成 token 约 290B，被重复约 13.8 个 epoch（290B × 13.8 ≈ 4T，即 10T 的 40%）；
• 另有网页改写 15%（290B，5.2 epoch），与"纯合成"分开计，二者合计约 55% [1]。

若写"4,000 亿 token 合成"，须同时标"未加权"。

趋势：合成比例越高的模型越小或越偏推理/STEM（Phi 系列 14B、Nemotron Nano、OLMo 数学子集）；旗舰通用模型（Llama 3、Qwen、Kimi）披露的是"用于哪些环节"而非总占比。"自家大模型合成自家小模型数据"（Qwen3、Nemotron）与"蒸馏出小模型"占主导，跨公司蒸馏只在开源教师或违规场景出现。

规模、成本与价格

教师模型 API 单价（每百万 token，美元）

每 1B 输出 token 生成成本估算（作者估算，非实际支出）

假设：输出 10 亿 token；输入按与输出等量的上限计，仅为量级；不含去重、过滤、验证、再训练成本。

说明：H100 租价参考专业云约 $1.5–4/小时，AWS p5 约 $3.9–6.9（2026 年第三方汇总，口径不一）[37]。开源吞吐为假设，未检索到权威 vLLM 离线基准，Nemotron-CC 论文也未披露合成阶段算力。把 Cosmopedia 速率外推到 Nemotron-CC 的 1.9T token 约为 $150 万–300 万量级，但其所用模型与引擎应明显更快，此外推仅为上界，不应当作 NVIDIA 实际支出。

公开实测点

• Cosmopedia：25B token / 10k+ H100 GPU 小时，约每 GPU 小时 250 万个生成 token（约 700 token/秒，含 prompt 开销，粗略）[5]。
• Qwen3-8B：在策略蒸馏 1,800 GPU 小时 vs RL 17,920 GPU 小时，约 1/10 [23]。
• Sky-T1 训练 <$450 [19]；DeepSeek-V3 $5.576M（假设值，仅算力）[18]。Kimi K2 Thinking 后训练 $4.6M 为 CNBC 转述（CEO 称非官方）⚠️未核实 [48]。

与人工标注的成本比

• 偏好标注：RLAIF 估算 AI 约 $0.06/条，较人工低 10 倍以上；HRLAIF 论文人工三标注员每对约 ¥6.3，GPT-3.5 AI 标注折合约 ¥0.009（作者折算，约 700 倍）[27]。
• 供应商目录价：通用偏好 0.10–0.50/对，专家（法律/医疗/金融）1.50–8.00+/任务，另有来源给 $2–5/对；均为供应商营销页口径，未经合同核实 ⚠️ [38]。可对照 LLM 数据价格带。
• 混合最优：HyPER（ACL 2025）按实例路由人/AI 标注，RewardBench 上比纯人工或纯 AI 好 7–13% [38]。
• 人工不可被替代的部分：Nemotron-4 仍以约 2 万条人工数据作锚；Qwen3 冷启动对"模型持续失败的题"人工复核。

教师选择规律（从公开报告归纳）

预训练改写用 7B–30B 级便宜且保真的模型（Mistral NeMo 12B、Qwen3-30B-A3B、Mixtral 8x7B）；教科书/习题合成用最强闭源模型（Phi 系列 GPT-3.5 → GPT-4 → GPT-4o）；推理蒸馏教师多为开放权重推理模型（QwQ-32B、R1）或 o3-mini，开放教师可避开服务条款；偏好打分用专用 reward model 或 GPT-4/4o 作 judge。

局限与争议

模型坍缩

见 Model collapse（合成数据递归退化）。

• Shumailov 等（Nature 631:755–759，2024-07-25）：不加区分地使用模型生成内容递归训练，会造成不可逆缺陷、原分布尾部消失，在 LLM、VAE、GMM 上均出现 [39]。
• Gerstgrasser 等（ICML 2024 DMLR 研讨会 poster；⚠️ 另有说法称 COLM 2024，未核）：替换式确实坍缩；累积式（原始真实数据 + 逐代合成）测试误差有与迭代次数无关的上界；理论限于线性模型，实验含 LM、扩散、VAE [40]。
• Feng 等（ICLR 2025）：未过滤合成数据仍会坍缩，但只要有排序好坏的验证器（哪怕不完美）即可恢复接近干净数据的性能；理论在高斯混合与线性模型 [41]。
• 对立面：Dohmatob 等认为合成数据混入不可无后果（The Register 转述，媒体口径）[42]。
• 判断：三篇均不在前沿规模。工业路线"改写保真 + 保留真实数据 + 验证过滤"落入反驳条件；Kimi K2 的"每语料最多改写两次"、Nemotron-CC 的"低质才合成、中质不合成"是工程上的避坑设计。

蒸馏指控与合规

以下全部为指控，无司法认定。详见 Anthropic 蒸馏指控 与 蒸馏地缘政策与条款禁令。

Anthropic 2026-02-23 公告（公司口径）：约 2.4 万个欺诈账号、1,600 万+ 次交互 [43]。分实验室数字：

公告还称代理商以"hydra cluster"架构，一个代理网络同时运行 2 万+ 欺诈账号并混入正常流量 [43]。MiniMax 占比最大、DeepSeek 最小，与"DeepSeek 为核心蒸馏者"的常见叙事反差。三家数字均来自 Anthropic 一家的单方披露，未见被指控方回应或第三方核验。

时间线：

争议点：

• 法律基础：主要是服务条款。OpenAI 条款列明禁止"使用输出开发与 OpenAI 竞争的模型" [47]；Anthropic 条款类似但未取到原文。版权路径通常被认为不适用（第三方分析，非判例）。
• 对称性质疑：前沿实验室自身用网络公开数据训练，批评者认为其对"提取"的抱怨存在双重标准；支持方称问题在于提取绕过安全对齐的推理（二手口径）。
• 因果强度：蒸馏对 Kimi 的贡献无第三方定量；一位评论者称"有作用但显然不是主因"（媒体口径，其头衔存疑，不采信）。
• 中国侧法律：无专门禁止蒸馏的法规，间接约束来自训练数据合法性与数据出境（《数据安全法》《个保法》《网络数据安全管理条例》、2024-03-22《促进和规范数据跨境流动规定》）与生成式 AI 备案。
• 开源蒸馏的另一面：R1-Distill、OpenThoughts、Sky-T1 以开放教师（R1、QwQ）为准，规避此类条款，但许可证传导（Llama 许可、Qwen 许可）仍需逐模型核对。

质量与方法局限

• 多样性塌缩：单一教师生成的合成数据易风格趋同（Cosmopedia 等）；Phi 系列基准泛化被质疑，但未检索到可核第三方复测，不采信。
• 事实性：教师幻觉入库；改写类以"保真度校验"缓解（Kimi K2）。
• 教师天花板：Phi-4 称 STEM QA 超过教师 GPT-4，系自报；超过教师通常依赖过滤/验证/RL，而非单纯蒸馏。
• 评测污染：蒸馏数据可能含基准题；Qwen3 冷启动显式去除与验证集高度相似的响应。
• 成本被低估：生成便宜，筛选、验证、去重与再训练评测占主要工程成本。
• Nemotron-4 340B 的"98% 合成"依赖约 2 万条人工与 HelpSteer2 锚点，"几乎无人工"不准确。

口径冲突与未核实

尚未查到或未核：OpenAI 官方定价页；Anthropic 商业条款原文；2025-01 OpenAI 调查 DeepSeek 的一手来源；上海 AI Lab 合成管线的一手技术报告；中国独立合成数据厂商；H100 上开源模型的权威吞吐基准；UltraChat/OpenHermes 规模。

来源

访问日期均为 2026-10-15。

1. Phi-4 技术报告：https://arxiv.org/abs/2412.08905 ；https://arxiv.org/html/2412.08905
2. Phi-1：https://arxiv.org/abs/2306.11644
3. Phi-3：https://arxiv.org/abs/2404.14219
4. TinyStories：https://arxiv.org/abs/2305.07759
5. Cosmopedia：https://huggingface.co/blog/cosmopedia ；https://huggingface.co/datasets/HuggingFaceTB/cosmopedia
6. WRAP：https://arxiv.org/abs/2401.16380
7. Nemotron-CC：https://arxiv.org/abs/2412.02595 ；https://arxiv.org/html/2412.02595
8. Nemotron Nano 2 / Pretraining v1：https://research.nvidia.com/labs/adlr/NVIDIA-Nemotron-Nano-2 ；https://huggingface.co/datasets/nvidia/Nemotron-CC-v2
9. Kimi K2：https://arxiv.org/html/2507.20534
10. BeyondWeb：https://arxiv.org/abs/2508.10975
11. Self-Instruct：https://arxiv.org/abs/2212.10560 ；Alpaca：https://github.com/tatsu-lab/stanford_alpaca
12. Evol-Instruct：https://arxiv.org/abs/2304.12244
13. Magpie：https://arxiv.org/abs/2406.08464
14. UltraFeedback：https://arxiv.org/abs/2310.01377
15. Tülu 3：https://arxiv.org/html/2411.15124
16. Infinity-Instruct：https://arxiv.org/html/2506.11116v1 ；https://arxiv.org/html/2507.06968v4
17. DeepSeek-R1：https://arxiv.org/abs/2501.12948 ；https://arxiv.org/html/2501.12948
18. DeepSeek-V3：https://arxiv.org/html/2412.19437
19. Sky-T1：https://novasky-ai.github.io/posts/sky-t1/
20. s1：https://arxiv.org/abs/2501.19393 ；LIMO：https://arxiv.org/abs/2502.03387
21. OpenThoughts：https://arxiv.org/abs/2506.04178
22. Phi-4-reasoning：https://arxiv.org/abs/2504.21318
23. Qwen3：https://arxiv.org/html/2505.09388
24. Qwen2.5：https://arxiv.org/html/2412.15115
25. Nemotron-4 340B：https://arxiv.org/abs/2406.11704 ；https://blogs.nvidia.com/blog/nemotron-4-synthetic-data-generation
26. Llama 3：https://arxiv.org/html/2407.21783
27. RLAIF：https://arxiv.org/pdf/2309.00267 ；HRLAIF：https://arxiv.org/pdf/2403.08309
28. OLMo 2：https://arxiv.org/html/2501.00656
29. Gretel 收购：https://techcrunch.com/2025/03/19/nvidia-reportedly-acquires-synthetic-data-startup-gretel
30. NeMo Data Designer：https://docs.nvidia.com/nemo/datadesigner/latest/concepts/deployment-options
31. DatologyAI A 轮：https://blog.datologyai.com/datologyai-raises-46m-series-a
32. Bespoke Labs：https://www.rl-list.com/vendors/bespoke-labs
33. Argilla：https://argilla.io/blog/argilla-joins-hugggingface ；https://aibusiness.com/data/hugging-face-acquires-ai-software-startup-to-boost-datasets
34. Mostly AI：https://www.trendingtopics.eu/mostly-ai-wiener-ai-startup-sammelt-25-millionen-us-dollar-ein ；Tonic：https://www.hpcwire.com/bigdatawire/this-just-in/tonic-ai-lands-35m-series-b-funding-puts-fake-data-at-forefront-of-growth/ ；Synthesis AI / Globant：https://www.globant.com/news/globant-synthesis-ai-partnership-digital-twins ；Scale Synthetic：https://techcrunch.com/2022/02/02/scale-ai-gets-into-the-synthetic-data-game/
35. Claude 定价：https://platform.claude.com/docs/en/about-claude/pricing
36. DeepSeek 定价：https://api-docs.deepseek.com/quick_start/pricing ；V3.2 聚合：https://benchlm.ai/deepseek/api-pricing
37. H100 租价：https://intuitionlabs.ai/articles/h100-rental-prices-cloud-comparison
38. 标注价（供应商营销页）：https://claru.ai/solutions/expert-rlhf-annotation ；https://www.nextwealth.com/?p=14642 ；HyPER：https://arxiv.org/abs/2410.19133
39. Shumailov 等：https://oatml.cs.ox.ac.uk/publications/202407_Shumailov_ModelCollapse.html
40. Gerstgrasser 等：https://arxiv.org/abs/2404.01413
41. Feng 等：https://arxiv.org/abs/2406.07515
42. The Register：https://www.theregister.com/2024/05/09/ai_model_collapse/
43. Anthropic 公告：https://www.anthropic.com/news/detecting-and-preventing-distillation-attacks
44. OpenAI 备忘录报道：https://finance.yahoo.com/news/openai-accuses-deepseek-distilling-us-221629899.html
45. OSTP 备忘录：https://axios.com/2026/04/23/us-china-ai-theft-distillation
46. Moonshot/Kimi K3 指控：https://thenextweb.com/news/white-house-moonshot-banned-nvidia-chips-kimi-k3
47. OpenAI 条款：https://openai.com/policies/row-terms-of-use/
48. CNBC（原文未能直取，经检索摘要）：https://www.cnbc.com/2026/02/24/anthropic-openai-china-firms-distillation-deepseek.html
49. GPT-5 mini/nano 聚合：https://computeprices.com/providers/openai/models/gpt-5-mini