Koala-36M

数据集中国网络开源

可灵的 3600 万 clips 数据集,VTSS 筛选、202 词字幕

数据类型
YouTube 视频 clip;结构化长字幕
规模口径
3600 万 clips(由约 4800 万筛出,留存约 75%),论文表列 17.2 万小时,按 clip 数 x 均长推算约 13.8 万小时(UltraVideo 论文表列 137K 小时)
License
论文页未标数据许可;HF 页需登录
链接
arxiv.org

内容与规模

快手可灵与中科院自动化所等发布(CVPR 2025)。与 Panda-70M 同一批原始视频(间接源自 HD-VILA-100M)切镜、标注后约 4800 万 clip,经 VTSS 视频训练适用性评分 阈值 2.5 过滤得 3600 万,留存约 75%(由两个数字推算)[1][2]。clip 均长 13.75 秒,720p。

标注方式

切镜用 Color-Struct SVM(召回 0.9395、精度 0.7547);字幕先由 GPT-4V 标注,再蒸馏到微调 LLaVA 全量标注,词均 202;约 20 万视频由 8 位专家打分用于训练 VTSS;美学等指标作为 metric condition [1][2]。

谁拿它训练

可灵称采用自建数据方案;Phantom-Data 把它用作公开视频池之一 [3],见 Phantom-Data。

已知缺陷

论文表列 17.2 万小时,与 3600 万 clip x 13.75 秒(约 13.8 万小时)自相矛盾;UltraVideo 论文对比表列其为 137K 小时,与后者一致 [4];切镜精度仍有误差;过滤管线不解决授权问题。

来源

  1. https://arxiv.org/html/2410.08260v2 (2026-10-15)
  2. https://arxiv.org/html/2410.08260 (2026-10-15)
  3. https://arxiv.org/html/2506.18851v1 (2026-10-15)
  4. https://arxiv.org/html/2506.13691 (2026-10-15)
  5. https://arxiv.org/html/2506.13691 (2026-10-15)

卡片整理 2026-10-15。公司自报数据标“公司口径”;⚠️ 为未经独立核实。