通用 benchmark（MMLU / GPQA / GSM8K / MATH / AIME / HumanEval / LiveCodeBench）

角色

MMLU（知识）、GPQA（研究生级科学问答）、GSM8K 与 MATH（数学）、AIME（竞赛数学）、HumanEval 与 LiveCodeBench（代码）是技术报告与数据集论文的通用度量。最初发布时间（arXiv 提交日）：MMLU 2020-09（2009.03300，57 个任务）、MATH 2021-03、HumanEval 2021-07（Codex 论文）、GSM8K 2021-10、GPQA 2023-11（2311.12022，主集 448 道专家出题选择题）、LiveCodeBench 2024-03（2403.07974）；AIME 为美国数学邀请赛年度真题，非专门发布的数据集。

在数据论文中的用法

• 数据集质量以下游分数佐证：DCLM 的 7B 模型训练 2.6T token 达 MMLU 64% [1]；OpenThinker3-7B 在 AIME25 53%、LiveCodeBench 51%、GPQA-D 54%（论文口径）[2]。
• 训练集直接取自评测同源：Tülu 3（SFT mixture / 合成配方 / Dolci） 的 RLVR 用 GSM8K 7,473 + MATH 7,500 + IFEval 类 14,973 共 29,946 条可验证 prompt [4]。

局限

污染检测：TS-Guessing 显示 ChatGPT / GPT-4 在 MMLU 上精确复现被遮蔽选项的比例分别为 52% / 57% [3]。饱和之后需要 HLE（Humanity's Last Exam） 一类难题集。

来源

1. https://arxiv.org/abs/2406.11794 (2026-10-15)
2. https://arxiv.org/abs/2506.04178 (2026-10-15)
3. https://arxiv.org/abs/2311.09783 (2026-10-15)
4. https://arxiv.org/abs/2411.15124 (2026-10-15)