Long Context Tuning(多镜头)

论文与基准中国新品类

ByteDance Seed 的场景级多镜头微调,单/多镜头 1:1 混合

数据类型
电影/纪录片场景视频;分镜描述
规模口径
约 50 万场景样本(平均 5 镜头)+ 约 100 万伪多镜头样本;未报小时数
License
未查到
链接
arxiv.org

数据来源与规模

ByteDance Seed 与港中文于 2025-03 发布(arXiv 2503.10589)。使用公开来源的场景级视频(电影、纪录片等),做场景边界检测和镜头切分,得到约 50 万场景样本(平均 5 镜头);另有约 100 万由长单镜头按事件切分得到的 "伪多镜头" 样本 [1]。

标注方式

Gemini-1.5 生成全局描述与分镜描述,角色以 ID 引用,用 [SHOT CUT] 标记切镜 [1]。

训练配方

多镜头数据与单镜头预训练数据按 1:1 混合做长上下文微调。后续 MoC(ICLR 2026)在其上改用稀疏注意力路由,剪掉 85%+ token 对,约 18 万 token 的分钟级场景提速 2.2 倍,属架构而非新数据 [2]。

争议

"公开来源" 的影视素材授权未说明;与 HoloCine(多镜头) 相同,属高版权风险品类。

来源

  1. https://arxiv.org/html/2503.10589v1 (2026-10-15)
  2. https://arxiv.org/pdf/2508.21058 (2026-10-15)

卡片整理 2026-10-15。公司自报数据标“公司口径”;⚠️ 为未经独立核实。