Data / 大模型 / 实体卡片

Magpie

论文与基准美国合成

只给对话模板前缀，让对齐模型自己生成指令与回答

成立: 2024-06
数据类型: 合成指令；SFT 数据
规模口径: 生成 400 万条，精选 30 万条
链接: arxiv.org

原理

只向已对齐的模型提供 chat 模板中 user 前缀，让其自回归生成用户问题，再生成回答，无需种子指令 [1]。

规模与效果

用 Llama-3-Instruct 生成 400 万条，精选 30 万条；Llama-3-8B-Base 经 Magpie SFT 后，在 AlpacaEval、ArenaHard、WildBench 上可比官方 Instruct（官方用了 1,000 万数据点做 SFT 与偏好）[1]。

局限

多样性与事实性依赖教师模型；用 GPT-4 / Llama 生成的数据集受提供方服务条款制约，“可商用”需逐条核条款（未逐条核）。

来源

https://arxiv.org/abs/2406.08464 (2026-10-15)

相关卡片

Infinity-Instruct（智源，含 COIG）数据集 · 中国

智源开源的千万级中英指令数据，经演化与诊断过滤合成

Tülu 3（SFT mixture / 合成配方 / Dolci）数据集 · 美国

Ai2 全开放后训练配方：SFT、DPO、可验证奖励 RL 数据

DeepSeek-R1（论文，含 R1 蒸馏路径）论文与基准 · 中国

规则奖励 RL 加 80 万条拒绝采样样本，并蒸馏出小模型

Self-Instruct / Alpaca / Evol-Instruct论文与基准 · 美国

175 条种子自举指令数据，Alpaca 以不到 $500 复刻指令微调

卡片整理 2026-10-15。公司自报数据标“公司口径”；⚠️ 为未经独立核实。