HLE（Humanity's Last Exam）

内容与规模

由 Center for AI Safety（CAIS）与 Scale AI 联合发布，面向前沿模型已饱和 MMLU 之后的新难题集，题目由各学科专家征集并经模型预筛，使当时的前沿模型作答失败。论文（arXiv 2501.14249，2025-01-24 提交）摘要称 HLE 共 2,500 题，覆盖数十个学科，含选择题与可自动判分的短答题；正文称约 14% 为图文多模态题、24% 为选择题、其余为精确匹配短答，近 1,000 位专家来自 50 个国家、500 余家机构，奖金池 50 万美元（前 50 题各 $5,000、其后 500 题各 $500）[1]。出题流程：对前沿模型累计 7 万余次作答尝试，约 1.3 万题使模型失败后进入专家复核 [1]。

在数据链中的位置

HLE 是“数据商做榜单”的典型：数据公司既组织专家出题（L3 能力），又借榜单展示专家网络质量，见 数据商自建榜单（SEAL / APEX / Hemingway / Handshake 三件套 / GBA）。

已知缺陷

封闭式问答易被针对性训练与泄漏污染；部分题目答案的正确性曾受到质疑：FutureHouse（2025-07-23）抽查 321 道纯文本化学/生物题，估计 29 ± 3.7% 的参考答案与同行评议文献直接冲突；HLE 团队自行复核同类子集，称约 18% 有问题，并计划滚动修订题库 [2]。使用 HLE 分数时需注意答案键本身仍在修订。

来源

1. https://arxiv.org/abs/2501.14249 (2026-10-15)
2. https://www.futurehouse.org/research/hle-exam (2026-10-15)