数据商自建榜单(SEAL / APEX / Hemingway / Handshake 三件套 / GBA)
数据商自建榜单既是销售工具也是专家网络的质量展示
- 成立
- 2025-09
- 数据类型
- 专家评测;agent 评测;榜单
- 规模口径
- APEX-Agents 480 任务;SEAL 题量未核实
- 链接
- arxiv.org
清单
- Mercor:APEX(2025-09,arXiv 2509.25721)、APEX-Agents(arXiv 2601.14242,2026-01-20;480 任务 = 投行/咨询/法律各 160,33 个模拟工作环境,由 256 位专家参与构建,另有 227 位专家参与问卷调研;数据集 CC-BY;最佳模型 Gemini 3 Flash(Thinking=High)Pass@1 24.0%)与开源 Archipelago harness [1];另有 APEX-SWE(200 任务,开源开发集 50)与 APEX-Accounting(与 Ramp 合作,160 任务/10 个模拟公司,Mercor 站点口径)。
- Surge AI:Hemingway-bench、AdvancedIF(与 Meta Superintelligence Labs 合作,1,600+ 提示)、GDP.pdf(100 条真实提示+PDF,覆盖十个职业领域)、Riemann-bench(25 题,私有,Surge 站点口径)。
- Handshake AI:BankerToolBench(100 个端到端投行任务,arXiv 2604.11304,Apache-2.0,与 McGill 合作,502 位投行人士参与);ATLAS-Finance 与 VIALS 为其公开 GitHub 仓库,题量(原稿 100 / 161)未能核实 ⚠️。
- Scale AI:SEAL 排行榜(单榜题量原稿“约 1,000”未能核实 ⚠️);HLE 公开题榜见 HLE(Humanity's Last Exam);SWE-bench Pro(1,865 题)见 SWE-bench(Verified / Pro)。
- HUD:OSWorld-Verified、SheetBench-50;Mechanize:GBA Eval。
作用与口径
榜单是销售工具,同时展示专家网络出题能力。被 lab system card 引用的有 Scale SEAL、Mercor APEX-Agents、Surge GDP.pdf / Riemann-bench(整理口径,引用来源未逐条复核)。APEX / APEX-Agents 发布年月已按 arXiv 核对;其余各榜发布年月未复核 ⚠️。
来源
相关卡片
HUD公司与机构 · 美国
MCP 环境 SDK、训练评测平台与环境市场
Handshake AI公司与机构 · 美国
校园招聘平台转型,以 PhD 供给切入的专家数据商
Mechanize公司与机构 · 美国
软件工程 RL 环境精品商,团队被 Google 以授权加招人方式收走
Mercor公司与机构 · 美国
专家人才市场起家,年化毛收入约 20 亿美元的后训练数据商
Scale AI公司与机构 · 美国
标注老牌,被 Meta 持股 49% 后失去多家前沿实验室订单
Snorkel AI公司与机构 · 美国
程序化标注起家,转向专家数据、RL 环境与评测榜单托管
Surge AI公司与机构 · 美国
自举盈利、人效最高的高端 RLHF 与专家标注供应商
HLE(Humanity's Last Exam)论文与基准 · 美国
CAIS 与 Scale AI 联合发布的专家出题前沿难题集
OSWorld论文与基准 · 美国
369 个真实桌面与 Web 任务的执行式评分基准,人类基线 72.36%
SWE-bench(Verified / Pro)论文与基准 · 美国
真实 GitHub issue 修复基准;Verified 被 OpenAI 停报,Pro 接棒
卡片整理 2026-10-15。公司自报数据标“公司口径”;⚠️ 为未经独立核实。