改写式合成（WRAP / BeyondWeb / Nemotron-CC）

原理

改写把已有文档重述成 Wikipedia 风格、问答、要点提取等形式，数据来源仍是真实网页，所以事实风险低于无种子的教科书式生成。WRAP（Apple 等，2024-01）用现成指令模型改写 C4：同算力下 Pile 子集困惑度降 10% 以上，预训练约快 3 倍 [1]。

代表实现

Nemotron-CC / v2（NVIDIA）：6.3T token 中约 1.87T 为 Mistral NeMo 12B 改写产物（约 30%），仅改写低质与高质文档、中质不动；8B 模型 15T 训练中 7.2T 来自它，MMLU 比 Llama 3.1 8B 高 5 分 [2]。Kimi / 月之暗面 Moonshot K2：知识语料多风格重述加保真度校验，每个语料最多改写两次；SimpleQA 实验中原文训练 10 个 epoch 得 23.76，改写 10 次训练 1 个 epoch 得 28.94 [3]。BeyondWeb（DatologyAI，2025-08）称相对开放网页最高快 7.7 倍，为公司口径 [4]。

局限

改写模型超过约 3B 后收益递减（公司口径）；风格趋同与教师偏差难以消除。"每语料最多两次"与"中质不合成"是工程上避开 Model collapse（合成数据递归退化） 的设计。

来源

1. https://arxiv.org/abs/2401.16380 (2026-10-15)
2. https://arxiv.org/abs/2412.02595 (2026-10-15)
3. https://arxiv.org/html/2507.20534 (2026-10-15)
4. https://arxiv.org/abs/2508.10975 (2026-10-15)