DanceGRPO / Flow-GRPO

方法与数据

DanceGRPO（arXiv 2505.07818）把 GRPO 统一用于扩散与整流流的图像、视频生成，使用 5 个奖励模型（美学、文图对齐、视频运动质量、二元反馈等），在 HPS-v2.1、CLIP Score、VideoAlign、GenEval 上最多提升 181% [1]。Flow-GRPO（arXiv 2505.05470）面向流匹配模型的在线 RL，实验以 T2I 为主（GenEval 63%→95%）[2]。

数据含义

两者都不依赖新增人工标注，依赖已有奖励模型（如 VideoReward / VideoAlign）加 prompt 集；人工量因此转移到训练奖励模型一端。

局限

奖励模型噪声与 reward hacking 成为新问题（SoliReward 等后续工作），又促使重新引入高质量人工信号；与 VideoDPO 同属自动偏好路线。

来源

1. https://arxiv.org/abs/2505.07818 (2026-10-15)
2. https://arxiv.org/abs/2505.05470 (2026-10-15)