ShareGPT4Video
GPT-4V 差分滑窗字幕，蒸馏出 480 万 clip 的字幕器
- 数据类型
- stock 视频；长字幕
- 规模口径
- 4.8M clip（约 3000 小时）由字幕器标注；GPT-4V 种子 4 万条（HF 训练集约 4.0 万条）
- License
- cc-by-nc-4.0，且须遵守 OpenAI 使用政策
- 链接
- huggingface.co
内容与规模
上海 AI Lab 等于 2024-06 发布。视频来自 Pixabay、Pexels、Mixkit 等 stock 站。先让 GPT-4V 以差分滑窗（DiffSW）方式为 4 万条视频生成逐帧字幕，再训练 ShareCaptioner-Video，标注 480 万 clip，约 3000 小时，字幕 200–400 词 [1][2]。
成本
约 4000 H100 GPU 小时，是调研中唯一明确的视频字幕单项成本数据（论文口径）[1]。
谁拿它训练
主要服务视频 LMM 训练（理解侧）；其 "闭源模型蒸馏出开源字幕器" 的做法与 Koala-36M 的字幕器路线一致，字幕长度由 13 词（Panda-70M）涨到 200 词以上。
已知缺陷
许可限非商用，并受 OpenAI 政策约束（涉及输出蒸馏条款）；GPT-4V 字幕存在幻觉。
来源
卡片整理 2026-10-15。公司自报数据标“公司口径”；⚠️ 为未经独立核实。