VideoScore / VideoFeedback

内容与规模

TIGER-Lab 于 2024-06 发布。3.76 万视频来自 11 个生成模型，评 5 维：视觉质量、时序一致、动态程度、文本对齐、事实一致；prompt 由 VidProm 104 万条下采样至 4.45 万；测试集 760 条 [1]。

标注方式

20 位专家评分员（其中 14 位为在读学生，同时是论文作者），每人约 1K–2K 视频，经多轮试标注、抽检与校准，耗时约 4 周，报酬仅称 "decent salary"。按每小时 $20–40、每周 20–40 小时估算，人工成本量级约 $3.2 万–12.8 万（推算，仅作量级参考）[1]。

后续

VideoFeedback2 约 2.7 万视频，含三维评分与推理轨迹，Apache-2.0 [2]。FIRM-Video 用 Rapidata 与 VideoFeedback2 构建约 3 万训练样本（据检索摘要）。

局限

评分员以学生为主，信号质量依赖校准；旧模型生成的视频使其对新一代模型代表性下降。

来源

1. https://arxiv.org/html/2406.15252 (2026-10-15)
2. https://huggingface.co/datasets/TIGER-Lab/VideoFeedback2/blob/main/README.md (2026-10-15)