模型与 Benchmark板块首页
总览
AI for Bio benchmark 总览模型 × benchmark 配对矩阵训练数据从哪来:公开库、私有授权、自产 wet lab 与…模型索引:112 个模型按领域分组44 个 benchmark 的规模、更新与 wet la…
Benchmark 档案:核心 30 项
01 CASP02 ProteinGym03 MoleculeNet04 TDC05 PoseBusters06 CASF-201607 USPTO family08 Basenji/Enformer test set09 scIB10 GuacaMol11 ClinVar hold-out protocol12 DUD-E / LIT-PCBA13 CAGI14 PubMedQA15 CAMEO16 GUE + Nucleotide Transform…17 CAFA18 LAB-Bench / LABBench219 PMO20 CACHE21 DREAM5 / BEELINE / CausalB…22 CAPRI23 BioASQ24 虚拟细胞挑战赛与扰动预测评测25 RNA-Puzzles26 FLIP / FLIP227 Polaris / ASAP / OpenADMET28 Adaptyv competitions / Ben…29 BixBench30 PLINDER / PINDER / Runs N'…
Benchmark 档案:补充 14 项
31 FoldBench32 CrossDocked202033 PoseX34 AbBiBench35 FLAb / FLAb236 AIntibody37 TraitGym38 BEND39 RNAGym40 MotifBench41 BioML-bench42 BioMysteryBench43 Ginkgo GDPa144 FS-Mol
模型:结构/共折叠
AF2-Multimer:Google DeepMindAlphaFold 3BioEmu-2Boltz-1 / Boltz-1xBoltz-2:MIT、Recursion、Boltz P…Chai-1:Chai DiscoveryChai-2:Chai DiscoveryDiffDock:MIT CSAILESMFold2HelixFold-S1:BaiduIntelliFold-2:IntelliGen AIIsoDDE:Isomorphic LabsMassiveFoldNeuralPLexer3OpenComplex2OpenDDE:Aureka AI Research、Au…OpenFold3Pearl:Genesis Molecular AIProtenixRF3:University of Washington …RhoFold+ / DRfold2 / trRosett…RNAPro:NVIDIA、Stanford Univer…SeedFold:ByteDance SeedVina:Scripps Research
模型:小分子
ADMET-AIAQAffinity:SandboxAQBeacon:Inductive BioChemformer:AstraZenecaChemprop v2:MITEnchant v1 / v2ether0:FutureHouseKERMT:Merck & Co.、NVIDIAMiniMol:Valence LabsMolE:RecursionMoLFormer-XL:IBM ResearchNesso-1:Valence Labs、Recursio…ReaSyn v2:NVIDIA、KAISTREINVENT 4RetroDFM-RSaturn:EPFLTamGen:Microsoft Research AI …TerraBind:Terray TherapeuticsTxGemma:Google DeepMind、Googl…Uni-Mol2Uni-Mol3
模型:蛋白
AlphaProteoAMPLIFY:Mila、Polytechnique Mo…BindCraftBoltzGenChai-3:Chai DiscoveryClaude 蛋白设计研究DPLM-2:ByteDance Research、Nan…Dyno Psi-1 / Psi-PhiESM C:Evolutionary Scale、Chan…ESM3:Evolutionary Scale、Chan …EVOLVEproLa-Proteina:NVIDIALatent-X / X2:Latent LabsLucaOne:Alibaba Cloud、Sun Yat…Mosaic:Escalante BioPinal:Westlake UniversityPoET-2:OpenProtein.AIProfluent-E1:ProfluentProGen3:ProfluentProSST:Shanghai Jiao Tong Uni…Proteina-Complexa:NVIDIARFdiffusion2 / 3SaProt:Westlake University、We…SeedProteo:ByteDance SeedVenusREMxTrimoPGLM
模型:抗体
GerminalHCAbLM:Nona Biosciences、HBM H…IgGM / IgGM-FMJAM / JAM-2:Nabla BioOrigin-1:AbsciRFantibodytFold:Tencent AI for Life Sci…
模型:基因组/RNA
AlphaGenome:Google DeepMindAlphaMissense:Google DeepMindBioReasonBorzoi:Calico Life SciencesBulkFormerEvo 2:Arc Institute、NVIDIA、St…NTv3:InstaDeeppopEVE:Harvard Medical School…RIBOSPAN
模型:单细胞
AIDO Cell:GenBio AIC2S-ScaleCellFM:Sun Yat-sen University…Lingshu-CellscGPT / GeneformerscPRINT-2Stack:Arc InstituteSTATE:Arc InstituteTahoe-x1:Tahoe TherapeuticsTranscriptFormerX-Cell:Xaira TherapeuticsxTrimoSCPerturb / scFoundation
模型:分子生成
GenMol:NVIDIA
模型:文本与 agent
Biomni:Stanford University、Ph…Co-ScientistGPT-Rosalind:OpenAIIntern-SKosmos / Edison AnalysisMedGemma / Med-GeminiQuine:Microsoft ResearchRobin:FutureHouseSciReasonerTxAgent:Harvard Medical SchoolVERID:Google Research前沿通用大模型:Anthropic、OpenAI、Goog…

41 BioML-bench

整理 2026-11-16 · 来源与可靠度标注见正文
本文目录
  1. 概况
  2. 测什么、怎么测
  3. 当前排名
  4. 报告过的模型
  5. 局限与注意
  6. 新模型怎么用
  7. 来源
  8. 更正记录

让 agent 端到端跑生物医学 ML 流水线,与人类公开榜单成绩比较;被测 agent 平均低于人类基线。结果混合了 agent 设计与 LLM 底座差异,作者未分离两者。

bench-41 · 类型 E · 证据 L2 · 文本与 agent · 补充收录 · 截至 2026-11-16

概况

字段 内容
名称 / 别名 BioML-bench;别名:BioML-Bench、biomlbench
家族 否(单一任务集,无家族成员;BioXArena 是独立后续基准。)
领域 文本与 agent
类型 E:E agent 与 LLM 的任务环境。agent 端到端任务环境
证据层级 L2:真值对 agent 隐藏,但数据来自已公开竞赛
发布方 ScienceMachine、University of Cambridge、Shift Bioscience、University of Toronto、Vector Institute(多类机构联合)
首次发布 (依据:bioRxiv 预印本 v1(仓库首个提交 2025-05-19 早于论文,仅作注))
其他里程碑 最早公开证据 (最早可证公开证据为预印本 v1;仓库创建与首个提交不作首发);预印本 v1 (bioRxiv v1(DOI 10.1101/2025.09.01.673319))
最近更新 ,论文修订:预印本 v3;仓库最后提交 2025-09-14(文档修订),此后仅维护。此为最近一次有出处的事件,不代表此后没有更新
下一次预期 无公告(维护方未公告下一版本或新一轮评测。)
规模 四个领域;任务取自公开竞赛与数据集,一份后续报告称 24 个任务。 明细:领域数(preprint v3) 4;任务来源(preprint v3) PolarisHub, Kaggle, ProteinGym, OpenProblems;任务数(后续报告口径)(third-party report 2026-05) 24;每 agent 每任务运行次数(preprint v3) 4;失败运行数(preprint v3) 41
状态 ◐ 低频:低频:预印本 v3 后无新版本,2026 年有独立后续使用。
wet lab 更新 静态:不产生新实验数据;任务与真值均来自既有公开竞赛与数据集。
需自补 wet lab 不需要
报告模型数 1 个计入(赛后复用 1);另 6 条不计入(未证实 6)
当前排名 ○ 自报(见当前排名)
全站实体页 无(全站 /entities/ 体系中没有该 benchmark 的页面。)
截至 2026-11-16

测什么、怎么测

  • 任务:给定任务描述、训练数据与提交样例,agent 自行建模并提交预测。
  • 真值:隐藏的测试标签,来自公开竞赛与数据集;人类基线取自公开榜单。
  • 主指标:相对人类榜单的百分位(失败运行有惩罚)
  • 次指标:各任务原生指标(AUROC、Spearman 等);平均名次;失败运行数
  • 版本陷阱:须注明带或不带失败惩罚、任务集版本、LLM 底座、预算与时间限制。

当前排名

状态:○ 自报

  • 指标:相对人类公开榜单的平均百分位(失败运行有惩罚)
  • 评测集 / 口径:BioML-bench tasks across 4 domains (24 tasks in the follow-up report), 4 runs per agent per task
  • 快照日期:

排名行不显示分数:来源无 rank-1 条目:条目均无名次或限定于各自协议,按不可比方式显示 caveat。

说明:无官方实时榜;数值来自不同论文与协议,不相互排名。多个 agent 类模型未检出本基准数值。

模型 名次 数值 指标 评测集 / 口径 来源类型 日期 出处 说明
Biomni — 34.45 ± 5.36 (leaderboard percentile) 相对人类公开榜单的平均百分位(失败运行有惩罚) BioML-bench tasks across 4 domains (24 tasks in the follow-up report), 4 runs per agent per task 自报 †(未核实) 出处 基准原作者复跑的四个 agent 中最好;平均名次 1.88 ± 0.18,无失败任务。
AutoScientists(非本站模型) — 74.4% (mean leaderboard percentile, 24 tasks) 相对人类公开榜单的平均百分位(失败运行有惩罚) BioML-bench tasks across 4 domains (24 tasks in the follow-up report), 4 runs per agent per task 自报 出处 非本站模型;开发方自报,硬件与协议部分不同,与上一行是否同协议未说明。

排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。

报告过的模型

按关系类型分组;计数口径见配对矩阵。1 个计入(赛后复用 1);另 6 条不计入(未证实 6)。

赛后数据复用(1)

  • Biomni:benchmark 作者重跑 Biomni;站上矩阵标"自",应为第三方,待改(第三方,置信度中,未核实†;出处)

未证实(6,不计数)

  • Co-Scientist:官方材料中未检出本基准的报告。(未知,置信度高,未核实†;出处)
  • GPT-Rosalind:官方页与转述均无报告,该格仅据本站页面判定,须显示未证实(二手,置信度高;出处)
  • Intern-S:官方仓库与三篇论文的可读正文均未出现该评测的报分(未知,置信度高;出处)
  • Quine:官方材料中未检出本基准的报告。(未知,置信度高,未核实†;出处)
  • SciReasoner:论文正文未出现,该格仅据本站页面判定,须显示未证实(二手,置信度高;出处)
  • VERID:官方材料(博客与论文)未检出该评测的报分(未知,置信度高;出处)

局限与注意

  1. 结果混合了 agent 设计与 LLM 底座差异,作者未分离两者。
  2. 41 次失败运行多数源于脚手架问题,而非模型能力。
  3. 人类榜单成绩混合参与者水平、投入与算力,只是粗略参照。
  4. 部分作者隶属维护该评测包的机构。
  5. 任务取自公开竞赛,存在训练数据污染可能。

新模型怎么用

安装官方包,按各任务的数据准备脚本取数,每个任务至少多次独立运行(原文 4 次)。报告须同时给带与不带失败惩罚两种口径、LLM 底座、预算与时限,不要把专用 agent 与裸底座加通用脚手架并入同一张表。任务源自公开竞赛,须评估训练数据污染。

搭配:LAB-Bench / LABBench2 · BixBench · BioMysteryBench

来源

  1. BioML-bench 预印本全文(预印本),
  2. bioRxiv 版本元数据(官方网站),
  3. 官方仓库(仓库)
  4. 独立后续报告(24 个任务)(第三方论文)
  5. 另一后续基准,自称与本基准互补(第三方论文)

更正记录

以下为本轮核对中改过的字段,原值按记录照录。

字段 原 现 原因 出处 发现日期
ranking.headline a headline percentile was shown for this benchmark no headline number; the caveat text is displayed instead 来源无 rank-1 条目,按变更集 5.3 不给头条数字。 依据 2026-11-16
models_reported[model-biomni].relation_type self-reported (Chinese matrix cell) benchmark-owner / third-party run, recorded as retrospective dataset use pending the matrix fix 复跑由基准原作者执行,不是开发方自报(变更集 4.2 待处理项)。 依据 2026-11-16

本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。