Model collapse（合成数据递归退化）

原理

模型反复用上一代生成的数据训练，分布尾部丢失、多样性下降，最终退化。对视频生成而言，网络上 AI 生成内容日益增多，使这一风险从理论走向数据策展问题。

已有证据

• arXiv 2509.16499：图像扩散的自消耗循环（replace 与 mixed 两种范式），将崩溃归因于从泛化到记忆化的转变与合成数据熵下降，提出基于熵的数据选择 [1]。
• arXiv 2511.12742（AAAI-26）：合成数据潜表征低维结构逐代退化，提出 Latent Space Filtering [2]。
• arXiv 2505.08803：扩展到视觉语言与文生图，发现增大解码预算、多模型多样性、用冻结模型重标注可缓解 [3]。
• 视频扩散的专门递归训练研究未查到；视频还有时序一致性维度，风险类比图像属推断，⚠️。

实务缓解

阿里通义万相 Wan（2.1 / 2.2 / 2.5） 技报称混入不到 10% 生成图像就显著劣化，因此训练合成图像检测器主动过滤（公司口径）。其他做法：来源标注、混入真实数据、教师-学生分离（见 步数蒸馏（CausVid / Self Forcing / DMD））。

大模型视角

Shumailov 等（Nature，2024-07-24 线上发表，07-25 刊期）证明：不加区分地用模型生成内容递归训练，会使分布尾部消失 [1]。Gerstgrasser 等（2024-04 预印本，ICML 2024 研讨会）指出，"累积"真实与合成数据时误差有上界，只有"替换"才坍缩 [2]；Feng 等（ICLR 2025）显示有验证器排序好坏时即可恢复接近干净数据的性能 [3]。三篇均在小模型或线性模型设定，前沿规模无直接证据。工业配方（改写式合成（WRAP / BeyondWeb / Nemotron-CC） 的保真改写、保留真实数据、验证过滤）等价于"累积加验证"。图像与视频的情形见视频栏同名卡。

来源

1. https://arxiv.org/html/2509.16499v3 (2026-10-15)
2. https://arxiv.org/abs/2511.12742v1 (2026-10-15)
3. https://arxiv.org/html/2505.08803v1 (2026-10-15)
4. https://oatml.cs.ox.ac.uk/publications/202407_Shumailov_ModelCollapse.html (2026-10-15)
5. https://arxiv.org/abs/2404.01413 (2026-10-15)
6. https://arxiv.org/abs/2406.07515 (2026-10-15)