41 BioML-bench
让 agent 端到端跑生物医学 ML 流水线,与人类公开榜单成绩比较;被测 agent 平均低于人类基线。结果混合了 agent 设计与 LLM 底座差异,作者未分离两者。
bench-41 · 类型 E · 证据 L2 · 文本与 agent · 补充收录 · 截至 2026-11-16
概况
| 字段 | 内容 |
|---|---|
| 名称 / 别名 | BioML-bench;别名:BioML-Bench、biomlbench |
| 家族 | 否(单一任务集,无家族成员;BioXArena 是独立后续基准。) |
| 领域 | 文本与 agent |
| 类型 | E:E agent 与 LLM 的任务环境。agent 端到端任务环境 |
| 证据层级 | L2:真值对 agent 隐藏,但数据来自已公开竞赛 |
| 发布方 | ScienceMachine、University of Cambridge、Shift Bioscience、University of Toronto、Vector Institute(多类机构联合) |
| 首次发布 | (依据:bioRxiv 预印本 v1(仓库首个提交 2025-05-19 早于论文,仅作注)) |
| 其他里程碑 | 最早公开证据 (最早可证公开证据为预印本 v1;仓库创建与首个提交不作首发);预印本 v1 (bioRxiv v1(DOI 10.1101/2025.09.01.673319)) |
| 最近更新 | ,论文修订:预印本 v3;仓库最后提交 2025-09-14(文档修订),此后仅维护。此为最近一次有出处的事件,不代表此后没有更新 |
| 下一次预期 | 无公告(维护方未公告下一版本或新一轮评测。) |
| 规模 | 四个领域;任务取自公开竞赛与数据集,一份后续报告称 24 个任务。 明细:领域数(preprint v3) 4;任务来源(preprint v3) PolarisHub, Kaggle, ProteinGym, OpenProblems;任务数(后续报告口径)(third-party report 2026-05) 24;每 agent 每任务运行次数(preprint v3) 4;失败运行数(preprint v3) 41 |
| 状态 | ◐ 低频:低频:预印本 v3 后无新版本,2026 年有独立后续使用。 |
| wet lab 更新 | 静态:不产生新实验数据;任务与真值均来自既有公开竞赛与数据集。 |
| 需自补 wet lab | 不需要 |
| 报告模型数 | 1 个计入(赛后复用 1);另 6 条不计入(未证实 6) |
| 当前排名 | ○ 自报(见当前排名) |
| 全站实体页 | 无(全站 /entities/ 体系中没有该 benchmark 的页面。) |
| 截至 | 2026-11-16 |
测什么、怎么测
- 任务:给定任务描述、训练数据与提交样例,agent 自行建模并提交预测。
- 真值:隐藏的测试标签,来自公开竞赛与数据集;人类基线取自公开榜单。
- 主指标:相对人类榜单的百分位(失败运行有惩罚)
- 次指标:各任务原生指标(AUROC、Spearman 等);平均名次;失败运行数
- 版本陷阱:须注明带或不带失败惩罚、任务集版本、LLM 底座、预算与时间限制。
当前排名
状态:○ 自报
- 指标:相对人类公开榜单的平均百分位(失败运行有惩罚)
- 评测集 / 口径:BioML-bench tasks across 4 domains (24 tasks in the follow-up report), 4 runs per agent per task
- 快照日期:
排名行不显示分数:来源无 rank-1 条目:条目均无名次或限定于各自协议,按不可比方式显示 caveat。
说明:无官方实时榜;数值来自不同论文与协议,不相互排名。多个 agent 类模型未检出本基准数值。
| 模型 | 名次 | 数值 | 指标 | 评测集 / 口径 | 来源类型 | 日期 | 出处 | 说明 |
|---|---|---|---|---|---|---|---|---|
| Biomni | — | 34.45 ± 5.36 (leaderboard percentile) | 相对人类公开榜单的平均百分位(失败运行有惩罚) | BioML-bench tasks across 4 domains (24 tasks in the follow-up report), 4 runs per agent per task | 自报 | †(未核实) | 出处 | 基准原作者复跑的四个 agent 中最好;平均名次 1.88 ± 0.18,无失败任务。 |
| AutoScientists(非本站模型) | — | 74.4% (mean leaderboard percentile, 24 tasks) | 相对人类公开榜单的平均百分位(失败运行有惩罚) | BioML-bench tasks across 4 domains (24 tasks in the follow-up report), 4 runs per agent per task | 自报 | 出处 | 非本站模型;开发方自报,硬件与协议部分不同,与上一行是否同协议未说明。 |
排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。
报告过的模型
按关系类型分组;计数口径见配对矩阵。1 个计入(赛后复用 1);另 6 条不计入(未证实 6)。
赛后数据复用(1)
未证实(6,不计数)
- Co-Scientist:官方材料中未检出本基准的报告。(未知,置信度高,未核实†;出处)
- GPT-Rosalind:官方页与转述均无报告,该格仅据本站页面判定,须显示未证实(二手,置信度高;出处)
- Intern-S:官方仓库与三篇论文的可读正文均未出现该评测的报分(未知,置信度高;出处)
- Quine:官方材料中未检出本基准的报告。(未知,置信度高,未核实†;出处)
- SciReasoner:论文正文未出现,该格仅据本站页面判定,须显示未证实(二手,置信度高;出处)
- VERID:官方材料(博客与论文)未检出该评测的报分(未知,置信度高;出处)
局限与注意
- 结果混合了 agent 设计与 LLM 底座差异,作者未分离两者。
- 41 次失败运行多数源于脚手架问题,而非模型能力。
- 人类榜单成绩混合参与者水平、投入与算力,只是粗略参照。
- 部分作者隶属维护该评测包的机构。
- 任务取自公开竞赛,存在训练数据污染可能。
新模型怎么用
安装官方包,按各任务的数据准备脚本取数,每个任务至少多次独立运行(原文 4 次)。报告须同时给带与不带失败惩罚两种口径、LLM 底座、预算与时限,不要把专用 agent 与裸底座加通用脚手架并入同一张表。任务源自公开竞赛,须评估训练数据污染。
搭配:LAB-Bench / LABBench2 · BixBench · BioMysteryBench
来源
- BioML-bench 预印本全文(预印本),
- bioRxiv 版本元数据(官方网站),
- 官方仓库(仓库)
- 独立后续报告(24 个任务)(第三方论文)
- 另一后续基准,自称与本基准互补(第三方论文)
更正记录
以下为本轮核对中改过的字段,原值按记录照录。
| 字段 | 原 | 现 | 原因 | 出处 | 发现日期 |
|---|---|---|---|---|---|
| ranking.headline | a headline percentile was shown for this benchmark | no headline number; the caveat text is displayed instead | 来源无 rank-1 条目,按变更集 5.3 不给头条数字。 | 依据 | 2026-11-16 |
| models_reported[model-biomni].relation_type | self-reported (Chinese matrix cell) | benchmark-owner / third-party run, recorded as retrospective dataset use pending the matrix fix | 复跑由基准原作者执行,不是开发方自报(变更集 4.2 待处理项)。 | 依据 | 2026-11-16 |
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。