EvalCrafter

内容与规模

EvalCrafter（2023）使用 700 条 prompt（来自真实用户数据与 LLM 生成），设 17 个客观指标，归入四大类，再用系数拟合人类意见，把多项自动指标汇总为接近人类判断的总分 [1]。

在数据链条中的位置

与 VBench / VBench-2.0 同属 "固定 prompt 集 + 自动指标 + 人类对齐" 的评测路线，评测 prompt 规模仅百到千级，成本远低于训练数据采购，但需要人类标注来拟合权重。真人盲测的补充见 Artificial Analysis Video Arena。

局限

prompt 集较小、覆盖有限；拟合所用的人类意见规模与构成本次未逐项核；指标会随生成模型进步而饱和。

来源

1. https://arxiv.org/abs/2310.11440 (2026-10-15)