模型与 Benchmark板块首页
总览
AI for Bio benchmark 总览模型 × benchmark 配对矩阵训练数据从哪来:公开库、私有授权、自产 wet lab 与…模型索引:112 个模型按领域分组44 个 benchmark 的规模、更新与 wet la…
Benchmark 档案:核心 30 项
01 CASP02 ProteinGym03 MoleculeNet04 TDC05 PoseBusters06 CASF-201607 USPTO family08 Basenji/Enformer test set09 scIB10 GuacaMol11 ClinVar hold-out protocol12 DUD-E / LIT-PCBA13 CAGI14 PubMedQA15 CAMEO16 GUE + Nucleotide Transform…17 CAFA18 LAB-Bench / LABBench219 PMO20 CACHE21 DREAM5 / BEELINE / CausalB…22 CAPRI23 BioASQ24 虚拟细胞挑战赛与扰动预测评测25 RNA-Puzzles26 FLIP / FLIP227 Polaris / ASAP / OpenADMET28 Adaptyv competitions / Ben…29 BixBench30 PLINDER / PINDER / Runs N'…
Benchmark 档案:补充 14 项
31 FoldBench32 CrossDocked202033 PoseX34 AbBiBench35 FLAb / FLAb236 AIntibody37 TraitGym38 BEND39 RNAGym40 MotifBench41 BioML-bench42 BioMysteryBench43 Ginkgo GDPa144 FS-Mol
模型:结构/共折叠
AF2-Multimer:Google DeepMindAlphaFold 3BioEmu-2Boltz-1 / Boltz-1xBoltz-2:MIT、Recursion、Boltz P…Chai-1:Chai DiscoveryChai-2:Chai DiscoveryDiffDock:MIT CSAILESMFold2HelixFold-S1:BaiduIntelliFold-2:IntelliGen AIIsoDDE:Isomorphic LabsMassiveFoldNeuralPLexer3OpenComplex2OpenDDE:Aureka AI Research、Au…OpenFold3Pearl:Genesis Molecular AIProtenixRF3:University of Washington …RhoFold+ / DRfold2 / trRosett…RNAPro:NVIDIA、Stanford Univer…SeedFold:ByteDance SeedVina:Scripps Research
模型:小分子
ADMET-AIAQAffinity:SandboxAQBeacon:Inductive BioChemformer:AstraZenecaChemprop v2:MITEnchant v1 / v2ether0:FutureHouseKERMT:Merck & Co.、NVIDIAMiniMol:Valence LabsMolE:RecursionMoLFormer-XL:IBM ResearchNesso-1:Valence Labs、Recursio…ReaSyn v2:NVIDIA、KAISTREINVENT 4RetroDFM-RSaturn:EPFLTamGen:Microsoft Research AI …TerraBind:Terray TherapeuticsTxGemma:Google DeepMind、Googl…Uni-Mol2Uni-Mol3
模型:蛋白
AlphaProteoAMPLIFY:Mila、Polytechnique Mo…BindCraftBoltzGenChai-3:Chai DiscoveryClaude 蛋白设计研究DPLM-2:ByteDance Research、Nan…Dyno Psi-1 / Psi-PhiESM C:Evolutionary Scale、Chan…ESM3:Evolutionary Scale、Chan …EVOLVEproLa-Proteina:NVIDIALatent-X / X2:Latent LabsLucaOne:Alibaba Cloud、Sun Yat…Mosaic:Escalante BioPinal:Westlake UniversityPoET-2:OpenProtein.AIProfluent-E1:ProfluentProGen3:ProfluentProSST:Shanghai Jiao Tong Uni…Proteina-Complexa:NVIDIARFdiffusion2 / 3SaProt:Westlake University、We…SeedProteo:ByteDance SeedVenusREMxTrimoPGLM
模型:抗体
GerminalHCAbLM:Nona Biosciences、HBM H…IgGM / IgGM-FMJAM / JAM-2:Nabla BioOrigin-1:AbsciRFantibodytFold:Tencent AI for Life Sci…
模型:基因组/RNA
AlphaGenome:Google DeepMindAlphaMissense:Google DeepMindBioReasonBorzoi:Calico Life SciencesBulkFormerEvo 2:Arc Institute、NVIDIA、St…NTv3:InstaDeeppopEVE:Harvard Medical School…RIBOSPAN
模型:单细胞
AIDO Cell:GenBio AIC2S-ScaleCellFM:Sun Yat-sen University…Lingshu-CellscGPT / GeneformerscPRINT-2Stack:Arc InstituteSTATE:Arc InstituteTahoe-x1:Tahoe TherapeuticsTranscriptFormerX-Cell:Xaira TherapeuticsxTrimoSCPerturb / scFoundation
模型:分子生成
GenMol:NVIDIA
模型:文本与 agent
Biomni:Stanford University、Ph…Co-ScientistGPT-Rosalind:OpenAIIntern-SKosmos / Edison AnalysisMedGemma / Med-GeminiQuine:Microsoft ResearchRobin:FutureHouseSciReasonerTxAgent:Harvard Medical SchoolVERID:Google Research前沿通用大模型:Anthropic、OpenAI、Goog…

08 Basenji/Enformer test set

整理 2026-11-16 · 来源与可靠度标注见正文
本文目录
  1. 概况
  2. 测什么、怎么测
  3. 当前排名
  4. 报告过的模型
  5. 局限与注意
  6. 新模型怎么用
  7. 来源
  8. 更正记录

序列到功能模型的事实口径:固定留出区域上的表观与表达轨迹预测。跨基因相关主要反映哪些基因本来高表达,不等于个体间预测能力。

bench-08 · 类型 B · 证据 L2 · 基因组/RNA · 核心 30 项 · 截至 2026-11-16

概况

字段 内容
名称 / 别名 Basenji/Enformer test set;全称:Basenji/Enformer 序列到功能测试集(Basenji2 数据与固定切分);别名:Basenji test set、Basenji2 test split、Enformer test set、cross2020 data;有歧义、不自动链接:Enformer、Basenji
家族 家族条目:Basenji ;Basenji2 cross-species data †(未核实);Enformer 。边界:本条指数据与固定切分,不指任一模型;后续模型重划折或改轨迹集,属各自的协议,不计入本条。
领域 基因组/RNA
类型 B:B 静态数据集套件。固定切分的静态数据集套件,无榜单
证据层级 L2(范围 L2–L3):主任务为同基因组留出区域;变异任务近 L3
发布方 Calico Life Sciences、DeepMind(多类机构联合)
首次发布 †(未核实)(依据:家族最早成员:Basenji 的 bioRxiv 预印本;期刊版 2018-03-27。固定切分随后由 Basenji2 数据确定。) 家族口径日期,不是后来同名模型的发布日
其他里程碑 最早公开证据 (家族中最早的公开预印本);预印本 v1 (确立当前常用口径的那篇预印本);期刊上线 (期刊在线发表)
最近更新 †(未核实),仅维护:早期数据仓库的一次依赖冻结提交,属代码维护;基准数据与切分未变。(提交位于早期数据的仓库,不是后续模型的仓库)。此为最近一次有出处的事件,不代表此后没有更新
下一次预期 无公告(没有维护方公告新版本或新切分。)
规模 人 5,313 条轨迹、鼠 1,643 条;人测试集 1,937 条序列,每条 393,216 bp。 明细:人类轨迹数(Basenji2) 5313;小鼠轨迹数(Basenji2) 1643;人类训练/验证/测试序列(Basenji2) 34021/2213/1937;小鼠训练/验证/测试序列(Basenji2) 29295/2209/2017;输入序列长度(Enformer) 393216 {'zh': '碱基', 'en': 'bp'};输出分箱宽度(Enformer) 128 {'zh': '碱基', 'en': 'bp'}
状态 ● 活跃:数据稳定,被后续模型沿用;无榜单
wet lab 更新 静态:不做新实验;复用公开表观轨迹,变异任务用公开 eQTL 与 MPRA 数据。
需自补 wet lab 断言真实泛化时需要
报告模型数 3 个计入(自报 3)
当前排名 ○ 自报(见当前排名)
全站实体页 无(全站 /entities/ 体系中没有该 benchmark 的页面。)
截至 2026-11-16

测什么、怎么测

  • 任务:由 DNA 序列预测数千条表观与转录轨迹,并用参考与变异序列的预测差给变异效应打分。
  • 真值:公开实验轨迹(批次与覆盖度异质);变异标签来自统计精细定位,不是实验验证。
  • 主指标:轨迹 Pearson 相关(128 bp 分箱)
  • 次指标:基因级 Pearson 相关;变异效应 auROC
  • 版本陷阱:须写明用的是哪一代数据、哪套折与分辨率;后续模型重划折后,逐分箱数字不可直接互比。

当前排名

状态:○ 自报

  • 指标:轨迹 Pearson(128/32/1 bp 分箱)、基因级 Pearson、变异 auROC
  • 评测集 / 口径:Basenji2 held-out test intervals (Borzoi/AlphaGenome use own re-folded splits)
  • 快照日期:

排名行不显示分数:来源中没有第 1 名条目,各条目口径不同,不给头条数字。

说明:没有榜单;各篇论文的轨迹集、折与分辨率都不同,数字不可横向比较,相对提升均为各自论文的自报口径。

模型 名次 数值 指标 评测集 / 口径 来源类型 日期 出处 说明
AlphaGenome (all-folds, pre-trained) — 不显示†(未核实) 轨迹 Pearson(128/32/1 bp 分箱)、基因级 Pearson、变异 auROC Basenji2 held-out test intervals (Borzoi/AlphaGenome use own re-folded splits) 自报(二手) 出处 模型卡已于 2026-11-16 核对;论文另称多数评测领先,未复核
Enformer(非本站模型) — 不显示†(未核实) 轨迹 Pearson(128/32/1 bp 分箱)、基因级 Pearson、变异 auROC Basenji2 held-out test intervals (Borzoi/AlphaGenome use own re-folded splits) 自报(二手) 出处 非本站模型;参考基线,取自站内既有注记,未复核
Borzoi — 不显示†(未核实) 轨迹 Pearson(128/32/1 bp 分箱)、基因级 Pearson、变异 auROC Basenji2 held-out test intervals (Borzoi/AlphaGenome use own re-folded splits) 自报(二手) 出处 二手数字,取自站内既有注记;所用折与轨迹集不同
NTv3 — 不显示:出处不全 轨迹 Pearson(128/32/1 bp 分箱)、基因级 Pearson、变异 auROC Basenji2 held-out test intervals (Borzoi/AlphaGenome use own re-folded splits) 自报 出处 自建任务集上的自报,本集上无对应数字,不可比

排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。

报告过的模型

按关系类型分组;计数口径见配对矩阵。3 个计入(自报 3)。

开发方按官方口径自报(3)

  • AlphaGenome:前代轨迹测试集;对比对象是每项任务各自最强的外部模型,不是统一榜单(自报,置信度高;出处)
  • Borzoi:开发方自报,论文用自建 eQTL/sQTL 任务与 Enformer 轨迹测试(自报,置信度高;出处)
  • NTv3:沿用前代轨迹集的折与设置微调;只给相对提升,未与另一家大厂模型直接对比(自报,置信度高;出处)

局限与注意

  1. 跨基因相关主要反映哪些基因本来高表达,不等于个体间预测能力。
  2. 一项独立研究报告跨个体平均相关接近零,且部分基因显著反相关。
  3. 参考序列上的改进不保证变异效应预测改进,细胞类型特异区域上更弱。
  4. 零样本与微调结果常被混报;复用时多只给单点相关,无置信区间。
  5. 变异任务的真值来自统计精细定位,不是实验验证的因果变异。

新模型怎么用

下载数据与固定切分,在留出区域上预测轨迹并计算相关,再用参考与变异序列的预测差做变异任务;静态即可跑完,不需自补湿实验。报告须写明数据代次、折、分辨率与轨迹子集,区分零样本与微调结果,并单列个体层面的评测,不要只给跨基因相关。可搭配 TraitGym 与 BEND。

搭配:TraitGym · BEND · GUE + Nucleotide Transformer 基准 · ClinVar hold-out protocol

来源

  1. 确立当前口径的期刊论文(期刊)
  2. 家族最早的预印本(预印本)
  3. 跨物种数据论文(期刊)
  4. 早期数据与代码仓库(仓库)
  5. 个体层面表现的第三方研究(第三方论文)
  6. 沿用本数据的后续模型论文(期刊)

更正记录

以下为本轮核对中改过的字段,原值按记录照录。

字段 原 现 原因 出处 发现日期
first_release start year 2018 2017-07-10 at family level (earliest preprint), with the family members and boundary stated 日期审计:家族条目须区分最早成员与后来同名模型的发布,年份口径不足。 依据 2026-11-16
latest_update_kind new-version code-maintenance-only 最近事件是早期数据仓库的依赖冻结提交,基准数据未变,不构成新版本。 依据 2026-11-16

本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。