数据商自建榜单(SEAL / APEX / Hemingway / Handshake 三件套 / GBA)

论文与基准美国数据集工具

数据商自建榜单既是销售工具也是专家网络的质量展示

成立
2025-09
数据类型
专家评测;agent 评测;榜单
规模口径
APEX-Agents 480 任务;SEAL 题量未核实
链接
arxiv.org

清单

  • Mercor:APEX(2025-09,arXiv 2509.25721)、APEX-Agents(arXiv 2601.14242,2026-01-20;480 任务 = 投行/咨询/法律各 160,33 个模拟工作环境,由 256 位专家参与构建,另有 227 位专家参与问卷调研;数据集 CC-BY;最佳模型 Gemini 3 Flash(Thinking=High)Pass@1 24.0%)与开源 Archipelago harness [1];另有 APEX-SWE(200 任务,开源开发集 50)与 APEX-Accounting(与 Ramp 合作,160 任务/10 个模拟公司,Mercor 站点口径)。
  • Surge AI:Hemingway-bench、AdvancedIF(与 Meta Superintelligence Labs 合作,1,600+ 提示)、GDP.pdf(100 条真实提示+PDF,覆盖十个职业领域)、Riemann-bench(25 题,私有,Surge 站点口径)。
  • Handshake AI:BankerToolBench(100 个端到端投行任务,arXiv 2604.11304,Apache-2.0,与 McGill 合作,502 位投行人士参与);ATLAS-Finance 与 VIALS 为其公开 GitHub 仓库,题量(原稿 100 / 161)未能核实 ⚠️。
  • Scale AI:SEAL 排行榜(单榜题量原稿“约 1,000”未能核实 ⚠️);HLE 公开题榜见 HLE(Humanity's Last Exam);SWE-bench Pro(1,865 题)见 SWE-bench(Verified / Pro)。
  • HUD:OSWorld-Verified、SheetBench-50;Mechanize:GBA Eval。

作用与口径

榜单是销售工具,同时展示专家网络出题能力。被 lab system card 引用的有 Scale SEAL、Mercor APEX-Agents、Surge GDP.pdf / Riemann-bench(整理口径,引用来源未逐条复核)。APEX / APEX-Agents 发布年月已按 arXiv 核对;其余各榜发布年月未复核 ⚠️。

来源

  1. https://arxiv.org/pdf/2601.14242v3 (2026-10-15)
  2. https://arxiv.org/abs/2509.25721 (2026-10-15)

卡片整理 2026-10-15。公司自报数据标“公司口径”;⚠️ 为未经独立核实。