CogVLM2-Caption
智谱为 CogVideoX 蒸馏的端到端视频 captioner
- 数据类型
- 视频 caption
- 规模口径
- 基于 Llama-3.1-8B 的 13B BF16 模型；示例代码取 24 帧
- License
- CogVLM2 license + Llama 3 license
- 链接
- huggingface.co
原理与来源
CogVideoX 的稠密 caption 流水线为：Panda-70M 短 caption，加每 2 秒抽帧由 CogVLM 生成的稠密描述，再由 GPT-4 汇总（上限 100 词）；为加速，用 5 万条 GPT-4 汇总数据微调 Llama 2，最终蒸馏为端到端 CogVLM2-Caption [2]。
规格
基于 CogVLM2-Video 与 Llama3，13B BF16，示例代码取 24 帧（页面未写明上限）[1]。已用于为 智谱 CogVideoX 生成训练 caption；CogVideoX 终局约 3500 万单镜头 clip（平均约 6 s），另加 20 亿图像。
局限
两层 license 叠加（CogVLM2 与 Llama 3），商用需核对条款。caption 上限 100 词，短于 ShareGPT4Video 的 200-400 词。
来源
相关卡片
卡片整理 2026-10-15。公司自报数据标“公司口径”；⚠️ 为未经独立核实。