步数蒸馏（CausVid / Self Forcing / DMD）

原理

视频领域的"蒸馏"主要指加速蒸馏：教师是自家或开源基座，学生是少步或因果自回归模型。数据由教师自身生成，不依赖竞品输出（对比 用竞品输出训练与条款禁令）。

代表实现

• CausVid（arXiv 2412.07772）：用 DMD 把双向教师蒸馏为因果学生，50 步压到 4 步，首帧延迟约 1.3 秒、约 9.4 FPS，用教师 ODE 轨迹配对初始化 [1]。
• Self Forcing（arXiv 2506.08009）：基于 Wan2.1-T2V-1.3B，在 16k 个 ODE 解配对上初始化；提示取自过滤并经 LLM 扩写的 VidProM；基线用教师生成的 70k 视频。训练几乎不需要真实视频；延迟较 Wan2.1/SkyReels-V2 约快 150 倍（作者口径）[2]。
• 阶跃 Step-Video-T2V Turbo：基座以 50 NFE 对约 95,000 条 SFT 提示采样作蒸馏集，最多约 10 倍步数缩减 [3]。
• Sand AI MAGI-1 用 shortcut model；腾讯 HunyuanVideo（1 / 1.5） 做 guidance 蒸馏（约 1.9 倍加速）；字节 Seedance（1.0 / 2.0）与即梦 多阶段蒸馏；Hunyuan-GameCraft 用 PCM 实现实时交互。

局限

学生上限受教师约束；蒸馏集只用于加速学生，不回灌基座，以避开 Model collapse（合成数据递归退化） 风险。

来源

1. https://arxiv.org/pdf/2412.07772 (2026-10-15)
2. https://arxiv.org/pdf/2506.08009 (2026-10-15)
3. https://arxiv.org/pdf/2502.10248 (2026-10-15)