DeepSeek-R1（论文，含 R1 蒸馏路径）
规则奖励 RL 加 80 万条拒绝采样样本，并蒸馏出小模型
- 成立
- 2025-01
- 数据类型
- 推理 SFT；规则奖励 RL；蒸馏
- 规模口径
- SFT 约 80 万条（推理约 60 万 + 非推理约 20 万）
- 链接
- arxiv.org
数据路线
RL 阶段使用规则奖励（数学、代码、逻辑），无大规模人工标注。第二阶段 SFT 约 80 万条（论文 v1 正文：推理约 60 万 + 非推理约 20 万；精确值 804,745 及数学 395,285、代码 211,129 出自 v2 附录，未能直接核到 ⚠️）：推理约 60 万条由第一阶段 RL checkpoint 拒绝采样得到，部分答案用 DeepSeek-V3 判别；非推理约 20 万条，部分由 DeepSeek-V3 生成 CoT；数学 395,285、代码 211,129 为最大领域 [1]。
蒸馏路径
用这批样本微调 Qwen 与 Llama 系小模型，公开 R1-Distill 系列；DeepSeek-V3 后训练也“蒸馏 R1 系列的推理能力”[2]。开放教师（R1、QwQ）被后续开源蒸馏数据集如 OpenThoughts（含 Sky-T1） 采用，以避开闭源服务条款。
口径与争议
论文 v2（2026-01-04）称 V3-Base 仅用网页与电子书（“plain web pages and e-books”）、未纳入合成数据，但承认部分网页含大量 OpenAI 模型生成的答案，可能间接习得 [1]。外部蒸馏指控见 Anthropic 蒸馏指控。
来源
相关卡片
卡片整理 2026-10-15。公司自报数据标“公司口径”；⚠️ 为未经独立核实。