合成 caption（VLM recaption）

原理

网络视频自带的标题和描述噪声大、过短。主流做法是训练或微调一个视频 VLM，为训练集每个 clip 生成 dense 或结构化 caption，再用同格式的提示改写模型把用户输入对齐到训练分布。合成的不是画面而是文本监督，几乎所有主流技报都在用。

代表实现

• Meta Movie Gen：微调 LLaMa3-Video 8B 与 70B，训练集 70% 用 8B caption、30% 用 70B，另加 16 类相机运动前缀，部分由人工修正 [1]。
• 阿里通义万相 Wan（2.1 / 2.2 / 2.5）：内部 LLaVA 式 caption 模型，另有人工 dense caption 用于最终阶段 [2]。
• 腾讯 HunyuanVideo（1 / 1.5）：JSON 结构化 caption；阶跃 Step-Video-T2V：Short/Dense/Original Title 三类。
• Sand AI MAGI-1：自回归逐秒 caption，首秒详述、后续聚焦变化。
• 字节 Seedance（1.0 / 2.0）与即梦：基于 Tarsier2（字节视频 captioner） 训练 caption 模型，长 caption 与仅描述运动的短 caption 并用 [3]。
• 开源侧有 ShareGPT4Video。OpenAI Sora / Sora 2 据称沿用 DALL-E 3 的 re-captioning，⚠️ 原文未当场核到。

局限

caption 模型的幻觉与偏好会固化进下游模型；单价未查到，成本被吸收在预训练预算中。

来源

1. https://arxiv.org/pdf/2410.13720 (2026-10-15)
2. https://arxiv.org/pdf/2503.20314 (2026-10-15)
3. https://arxiv.org/pdf/2506.09113 (2026-10-15)