42 BioMysteryBench
真实测序数据剥离元数据后出题,只判最终答案;由模型厂商自己出题,公开部分仅 5 题。由模型厂商自己出题,出题方与被测模型开发方为同一家,存在利益相关。
bench-42 · 类型 E · 证据 L2 · 文本与 agent · 补充收录 · 截至 2026-11-16
概况
| 字段 | 内容 |
|---|---|
| 名称 / 别名 | BioMysteryBench;别名:BioMysteryBench-preview |
| 家族 | 否(单一题集,preview 版是其公开子集,不构成家族。) |
| 领域 | 文本与 agent(次领域:基因组/RNA) |
| 类型 | E:E agent 与 LLM 的任务环境。客观可验证答案的 agent 题集 |
| 证据层级 | L2(范围 L2–L4):固定集、真值客观;完整集不公开,接近隐藏集做法但无时间盲测 |
| 发布方 | Anthropic(大厂实验室) |
| 首次发布 | (依据:发布方研究页,与 preview 数据集首个提交同日(2026-04-29)) |
| 其他里程碑 | 最早公开证据 (preview 数据集首个提交与研究页同日);官方公告 (发布方研究页) |
| 最近更新 | †(未核实),榜单条目:第三方跨厂商榜单更新(31 个模型,榜首 83.70%);数据集最近变更为 2026-07-07 的 preview v11,换掉 2 道题。(榜单日期沿用既有记录,未独立复核。)。此为最近一次有出处的事件,不代表此后没有更新 |
| 下一次预期 | 无公告(出题方未公告下一版本或新一轮。) |
| 规模 | 研究页 99 题(76 人类可解、23 人类未解);数据集卡片标完整集 90 题,公开 preview 5 题。 明细:题数(研究页)(2026-04-29) 99;人类可解 / 人类未解(2026-04-29) 76 / 23;题数(数据集卡片)(preview v11, 2026-07-07) 90;公开 preview 题数(preview v11, 2026-07-07) 5;因格式错误剔除(2026-04-29) 4 |
| 状态 | ● 活跃:活跃:第三方榜单 2026-11-09 更新;数据集 v11(2026-07)。 |
| wet lab 更新 | 静态:不新增湿实验;题目用已有测序数据,答案由正交实验或元数据验证。 |
| 需自补 wet lab | 不需要 |
| 报告模型数 | 1 个计入(自报 1);另 6 条不计入(未证实 6) |
| 当前排名 | ◌ 第三方(见当前排名) |
| 全站实体页 | 无(全站 /entities/ 体系中没有该 benchmark 的页面。) |
| 截至 | 2026-11-16 |
测什么、怎么测
- 任务:给剥离元数据的测序数据,agent 通过计算还原被隐藏的属性,只判最终答案。
- 真值:可由正交实验或原始元数据验证的客观属性。
- 主指标:最终答案正确率
- 次指标:多次运行的解出稳定性;人类可解与人类未解两个子集的分别得分
- 版本陷阱:数值须写明 99 题还是 90 题口径、运行次数、harness、轮数与时限、评判模型。
当前排名
状态:◌ 第三方
- 指标:最终答案正确率(3 次完整运行均值,用评判模型打分)
- 评测集 / 口径:Third-party board run: Terminus 2 harness, 200 turns / 4 h per task
- 快照日期:†(未核实)
- 榜单页面
当前第一:Claude Fable 5.2,83.70%(最终答案正确率(3 次完整运行均值,用评判模型打分);Third-party board run: Terminus 2 harness, 200 turns / 4 h per task;第三方;†(未核实))
说明:榜单为第三方运行(31 个模型,2026-11-09);基准由模型厂商自产,完整集设门槛,厂商自报数值与榜单不可比。
| 模型 | 名次 | 数值 | 指标 | 评测集 / 口径 | 来源类型 | 日期 | 出处 | 说明 |
|---|---|---|---|---|---|---|---|---|
| Claude Fable 5.2 | 1 | 83.70% | 最终答案正确率(3 次完整运行均值,用评判模型打分) | Third-party board run: Terminus 2 harness, 200 turns / 4 h per task | 第三方 | †(未核实) | 出处 | 总榜第一。 |
| Claude Sonnet 5.5 | 2 | 81.11% | 最终答案正确率(3 次完整运行均值,用评判模型打分) | Third-party board run: Terminus 2 harness, 200 turns / 4 h per task | 第三方 | †(未核实) | 出处 | — |
| GPT-6.1 Sol | 3 | 79.63% | 最终答案正确率(3 次完整运行均值,用评判模型打分) | Third-party board run: Terminus 2 harness, 200 turns / 4 h per task | 第三方 | †(未核实) | 出处 | — |
| GPT-6 Astra | 4 | 79.26% | 最终答案正确率(3 次完整运行均值,用评判模型打分) | Third-party board run: Terminus 2 harness, 200 turns / 4 h per task | 第三方 | †(未核实) | 出处 | 与另两个条目并列 79.26%。 |
| Gemini 4 Argon | 7 | 76.30% | 最终答案正确率(3 次完整运行均值,用评判模型打分) | Third-party board run: Terminus 2 harness, 200 turns / 4 h per task | 第三方 | †(未核实) | 出处 | 该厂商的最高条目。 |
| Claude Opus 4.6 | — | 77.4% (human-solvable) / 23.5% (human-unsolved) | 最终答案正确率(每题 5 次均值,厂商口径) | Publisher research page: 5 runs per question; human-solvable and human-unsolved subsets reported separately | 自报 | 出处 | 厂商自报,运行设置与榜单不同,不参与名次。 |
排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。
报告过的模型
按关系类型分组;计数口径见配对矩阵。1 个计入(自报 1);另 6 条不计入(未证实 6)。
开发方按官方口径自报(1)
未证实(6,不计数)
- Co-Scientist:官方材料中未检出本基准的报告。(未知,置信度高,未核实†;出处)
- GPT-Rosalind:官方页与转述均无报告,该格仅据本站页面判定,须显示未证实(二手,置信度高;出处)
- Intern-S:官方仓库与三篇论文的可读正文均未出现该评测的报分(未知,置信度高;出处)
- Quine:官方材料中未检出本基准的报告。(未知,置信度高,未核实†;出处)
- SciReasoner:论文正文未出现,该格仅据本站页面判定,须显示未证实(二手,置信度高;出处)
- VERID:官方材料(博客与论文)未检出该评测的报分(未知,置信度高;出处)
局限与注意
- 由模型厂商自己出题,出题方与被测模型开发方为同一家,存在利益相关。
- 完整集设门槛,公开 preview 只有 5 题,外部无法完全复现。
- 题量有 99 与 90 两说,差异原因未完整公开,引用须写出处。
- 样本小,置信区间宽;难题上的成功不稳定(勉强解出的比例明显上升)。
- 厂商自报与第三方榜的运行设置不同,两处数值不可直接比较。
新模型怎么用
公开 preview 的 5 题只能做冒烟测试;完整集需向出题方申请并遵守评测专用条款,或提交到第三方榜。每题多次运行取平均,写明 harness、轮数与时限、评判模型,并分别报告人类可解与人类未解两个子集。禁止用登录号反查来源数据。样本小,差距几个百分点不宜当排名。
搭配:LAB-Bench / LABBench2 · BixBench · BioML-bench
来源
- 出题方研究页(公司博客),
- preview 数据集卡片(官方网站),
- 第三方跨厂商榜单(榜单),
更正记录
以下为本轮核对中改过的字段,原值按记录照录。
| 字段 | 原 | 现 | 原因 | 出处 | 发现日期 |
|---|---|---|---|---|---|
| scale | 99 expert questions presented as the set size | research page 99 (76 human-solvable, 23 human-unsolved) and dataset card 90 recorded side by side, with the public preview at 5 | 两处口径不一致且差异原因未完整公开,须并列标注。 | 依据 | 2026-11-16 |
| latest_update.verification | treated as fully verified | partial: the 2026-11-09 board date is carried from an existing record and was not independently re-fetched | 变更集第 6 节要求依赖动态页面的日期标未核实。 | 依据 | 2026-11-16 |
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。