Data / 大模型 / 实体卡片

偏好数据集（UltraFeedback / Anthropic HH-RLHF / OpenAssistant oasst1）

数据集全球人类数据

三套最常被引用的开放偏好与对话排序数据

成立
2022-04
数据类型
偏好对比；对话树排序；AI 反馈
规模口径
HH-RLHF 169,352 对；oasst1 共 161,443 条消息、35 种语言（可训练切分 88,838 条）；UltraFeedback 约 6.4 万 prompt、25.6 万回答、38 万条 GPT-4 反馈（可构造约 100 万对比对）
License
HH-RLHF MIT；oasst1 Apache-2.0；UltraFeedback MIT（HF 数据卡标注，但 GPT-4 标注受服务条款制约，⚠️ 未逐条核）
链接
huggingface.co；huggingface.co；arxiv.org

内容与规模

  • Anthropic HH-RLHF（2022）：169,352 对人类偏好；helpful 部分来自三批（基础模型、拒绝采样、在线迭代），harmless 部分仅基础模型 [1]。
  • OpenAssistant oasst1（2023-04）：LAION 社区志愿者人工写作与排序，全集 161,443 条消息、35 种语言，可训练切分 88,838 条（训练 84,437 + 验证 4,401）[2]。
  • UltraFeedback（2023-10）：用 GPT-4 对多模型回答按 4 个维度打分，约 6.4 万 prompt、25.6 万回答、38 万条反馈，可再构造约 100 万对比对 [3]。

位置

三者代表偏好数据的三种来源：付费众包、志愿者、AI 标注。人工偏好的公开口径约每对 $0.1–5（专家更高），AI 标注低一个数量级以上；商业人类数据见 Scale AI，现代偏好信号正向 rubric 迁移（Rubric-as-reward（RaR / OpenRubrics））。

局限

规模小于闭源实验室的专有偏好集；UltraFeedback 的标注者是 GPT-4，存在评审偏置和条款链问题。

来源

  1. https://huggingface.co/datasets/Anthropic/hh-rlhf (2026-10-15)
  2. https://huggingface.co/datasets/OpenAssistant/oasst1 (2026-10-15)
  3. https://arxiv.org/abs/2310.01377 (2026-10-15)

相关卡片

Scale AI公司与机构 · 美国
标注老牌，被 Meta 持股 49% 后失去多家前沿实验室订单
Rubric-as-reward（RaR / OpenRubrics）概念与方法
用带权重的检查清单当奖励，把 RLVR 延伸到开放式任务
Tülu 3（SFT mixture / 合成配方 / Dolci）数据集 · 美国
Ai2 全开放后训练配方：SFT、DPO、可验证奖励 RL 数据

卡片整理 2026-10-15。公司自报数据标“公司口径”；⚠️ 为未经独立核实。