模型与 Benchmark板块首页
总览
AI for Bio benchmark 总览模型 × benchmark 配对矩阵训练数据从哪来:公开库、私有授权、自产 wet lab 与…模型索引:112 个模型按领域分组44 个 benchmark 的规模、更新与 wet la…
Benchmark 档案:核心 30 项
01 CASP02 ProteinGym03 MoleculeNet04 TDC05 PoseBusters06 CASF-201607 USPTO family08 Basenji/Enformer test set09 scIB10 GuacaMol11 ClinVar hold-out protocol12 DUD-E / LIT-PCBA13 CAGI14 PubMedQA15 CAMEO16 GUE + Nucleotide Transform…17 CAFA18 LAB-Bench / LABBench219 PMO20 CACHE21 DREAM5 / BEELINE / CausalB…22 CAPRI23 BioASQ24 虚拟细胞挑战赛与扰动预测评测25 RNA-Puzzles26 FLIP / FLIP227 Polaris / ASAP / OpenADMET28 Adaptyv competitions / Ben…29 BixBench30 PLINDER / PINDER / Runs N'…
Benchmark 档案:补充 14 项
31 FoldBench32 CrossDocked202033 PoseX34 AbBiBench35 FLAb / FLAb236 AIntibody37 TraitGym38 BEND39 RNAGym40 MotifBench41 BioML-bench42 BioMysteryBench43 Ginkgo GDPa144 FS-Mol
模型:结构/共折叠
AF2-Multimer:Google DeepMindAlphaFold 3BioEmu-2Boltz-1 / Boltz-1xBoltz-2:MIT、Recursion、Boltz P…Chai-1:Chai DiscoveryChai-2:Chai DiscoveryDiffDock:MIT CSAILESMFold2HelixFold-S1:BaiduIntelliFold-2:IntelliGen AIIsoDDE:Isomorphic LabsMassiveFoldNeuralPLexer3OpenComplex2OpenDDE:Aureka AI Research、Au…OpenFold3Pearl:Genesis Molecular AIProtenixRF3:University of Washington …RhoFold+ / DRfold2 / trRosett…RNAPro:NVIDIA、Stanford Univer…SeedFold:ByteDance SeedVina:Scripps Research
模型:小分子
ADMET-AIAQAffinity:SandboxAQBeacon:Inductive BioChemformer:AstraZenecaChemprop v2:MITEnchant v1 / v2ether0:FutureHouseKERMT:Merck & Co.、NVIDIAMiniMol:Valence LabsMolE:RecursionMoLFormer-XL:IBM ResearchNesso-1:Valence Labs、Recursio…ReaSyn v2:NVIDIA、KAISTREINVENT 4RetroDFM-RSaturn:EPFLTamGen:Microsoft Research AI …TerraBind:Terray TherapeuticsTxGemma:Google DeepMind、Googl…Uni-Mol2Uni-Mol3
模型:蛋白
AlphaProteoAMPLIFY:Mila、Polytechnique Mo…BindCraftBoltzGenChai-3:Chai DiscoveryClaude 蛋白设计研究DPLM-2:ByteDance Research、Nan…Dyno Psi-1 / Psi-PhiESM C:Evolutionary Scale、Chan…ESM3:Evolutionary Scale、Chan …EVOLVEproLa-Proteina:NVIDIALatent-X / X2:Latent LabsLucaOne:Alibaba Cloud、Sun Yat…Mosaic:Escalante BioPinal:Westlake UniversityPoET-2:OpenProtein.AIProfluent-E1:ProfluentProGen3:ProfluentProSST:Shanghai Jiao Tong Uni…Proteina-Complexa:NVIDIARFdiffusion2 / 3SaProt:Westlake University、We…SeedProteo:ByteDance SeedVenusREMxTrimoPGLM
模型:抗体
GerminalHCAbLM:Nona Biosciences、HBM H…IgGM / IgGM-FMJAM / JAM-2:Nabla BioOrigin-1:AbsciRFantibodytFold:Tencent AI for Life Sci…
模型:基因组/RNA
AlphaGenome:Google DeepMindAlphaMissense:Google DeepMindBioReasonBorzoi:Calico Life SciencesBulkFormerEvo 2:Arc Institute、NVIDIA、St…NTv3:InstaDeeppopEVE:Harvard Medical School…RIBOSPAN
模型:单细胞
AIDO Cell:GenBio AIC2S-ScaleCellFM:Sun Yat-sen University…Lingshu-CellscGPT / GeneformerscPRINT-2Stack:Arc InstituteSTATE:Arc InstituteTahoe-x1:Tahoe TherapeuticsTranscriptFormerX-Cell:Xaira TherapeuticsxTrimoSCPerturb / scFoundation
模型:分子生成
GenMol:NVIDIA
模型:文本与 agent
Biomni:Stanford University、Ph…Co-ScientistGPT-Rosalind:OpenAIIntern-SKosmos / Edison AnalysisMedGemma / Med-GeminiQuine:Microsoft ResearchRobin:FutureHouseSciReasonerTxAgent:Harvard Medical SchoolVERID:Google Research前沿通用大模型:Anthropic、OpenAI、Goog…

16 GUE + Nucleotide Transformer 基准

整理 2026-11-16 · 来源与可靠度标注见正文
本文目录
  1. 概况
  2. 测什么、怎么测
  3. 当前排名
  4. 报告过的模型
  5. 局限与注意
  6. 新模型怎么用
  7. 来源
  8. 更正记录

DNA 语言模型的短序列调控元件分类套件;只能当冒烟测试。随机初始化的同架构模型与小 CNN 常追平或超过预训练模型;随机种子波动可达 5 个点;NT 原版与修订版不可比

bench-16 · 类型 B · 证据 L2 · 基因组/RNA · 核心 30 项 · 截至 2026-11-16

概况

字段 内容
名称 / 别名 GUE + Nucleotide Transformer 基准;全称:GUE(基因组理解评估)、Nucleotide Transformer 下游任务与 Genomic Benchmarks 套件;别名:GUE、GUE+、Genome Understanding Evaluation、NT benchmark、Nucleotide Transformer downstream tasks、Genomic Benchmarks、NTv3 Benchmark;有歧义、不自动链接:Nucleotide Transformer、NT
家族 家族条目:Genomic Benchmarks ;Nucleotide Transformer downstream tasks (original) ;GUE / GUE+ (DNABERT-2) †(未核实);Nucleotide Transformer downstream tasks (revised) 约 2024†(未核实);NTv3 Benchmark 。边界:家族条目:GUE/GUE+、NT 下游任务(原版与修订版不可比)、Genomic Benchmarks 与 NTv3 Benchmark;BEND 与 DART-Eval 不在内
领域 基因组/RNA
类型 B:B 静态数据集套件。静态数据集套件
证据层级 L2(范围 L2–L3):NT 修订版染色体留出,近 L3
发布方 InstaDeep、Northwestern University、CEITEC, Masaryk University(多类机构联合)
首次发布 (依据:家族最早成员 Genomic Benchmarks 的 bioRxiv v1(期刊版 BMC Genomic Data 2023-05-01))
其他里程碑 预印本 v1 (家族最早成员 Genomic Benchmarks 的 bioRxiv v1(期刊版 BMC Genomic Data 2023-05-01));期刊上线 †(未核实)(Genomic Benchmarks 期刊版(BMC Genomic Data))
最近更新 ,数据发布:NTv3 Benchmark(106 个任务、7 个物种)随 NTv3 预印本发布(bioRxiv v1 2025-12-25);InstaDeep 2026-02-18 博客是同一发布的后续宣传。此为最近一次有出处的事件,不代表此后没有更新
下一次预期 无公告(各套件均无公告的下一版本。)
规模 GUE 28 个数据集(另 GUE+ 8 个);NT 18 个任务,修订版 532,064 行;Genomic Benchmarks 9 个数据集 明细:数据集(GUE + GUE+) 28 + 8;任务(NT downstream) 18;行数(NT revised) 532,064;数据集(Genomic Benchmarks) 9;任务(7 个物种)(NTv3 Benchmark) 106
状态 ◐ 低频:仍被使用但已饱和;2026-06 的更大套件 GENEB 部分取代
wet lab 更新 静态:无;复用 ENCODE 等公开数据
需自补 wet lab 不需要
报告模型数 0 个计入
当前排名 — 无排名(见当前排名)
全站实体页 无(全站 /entities/ 体系中没有该 benchmark 的页面。)
截至 2026-11-16

测什么、怎么测

  • 任务:判断 ≤1 kb 短序列是否带某种调控特征,如启动子、增强子、剪接位点与组蛋白标记
  • 真值:ENCODE 等公开注释给出的元件标签;负样本构造随版本不同(打乱序列、随机序列或真实基因组片段)
  • 主指标:MCC
  • 次指标:F1(GUE 病毒变异任务);10 折交叉验证 MCC(NT 修订版)
  • 版本陷阱:NT 原版与修订版分数不可比;tokenizer、微调或冻结探针、pooling 方式都会改变分数,须逐项写明

当前排名

状态:— 无排名

  • 指标:MCC(GUE 28 集平均;NT 10 折交叉验证 MCC)
  • 评测集 / 口径:GUE / NT downstream (original & revised) / Genomic Benchmarks

说明:无官方榜单,本站模型均未在这些套件上报分(NTv3 用自建 106 任务基准,Evo 2 未报);站外两模型的 GUE 平均 MCC 仅差 0.13,在种子噪声内(未复核)

排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。

报告过的模型

按关系类型分组;计数口径见配对矩阵。0 个计入。

暂无模型与本 benchmark 构成配对。

局限与注意

  1. 随机初始化的同架构模型与小 CNN 常追平或超过预训练模型;随机种子波动可达 5 个点;NT 原版与修订版不可比
  2. 测的更多是局部模体与 GC 组成;只有同分布短序列分类,无变异、跨细胞类型或跨物种 OOD,也无前瞻验证
  3. NTv3 与 Evo 2 均未在 GUE/NT 套件上报分;主要使用者不在本站模型页
  4. GUE 论文内部数据集数写法不一(28、36 等),本页取 28+8

新模型怎么用

下载即可运行,无需湿实验。NT 选修订版;多 seed 报置信区间;同表加入随机初始化同架构、小 CNN、k-mer 加线性模型三类基线,并写明 tokenizer 与微调或探针设定。另补 BEND(长程与变异);变异层面见 ClinVar 与 Enformer。

搭配:BEND · ClinVar hold-out protocol · Basenji/Enformer test set · TraitGym

来源

  1. GUE / DNABERT-2 论文 arXiv 2306.15006(预印本)
  2. Nucleotide Transformer 论文 bioRxiv(预印本)
  3. Nucleotide Transformer 期刊版(Nature Methods)(期刊)
  4. NT 修订版数据卡(仓库)
  5. Genomic Benchmarks bioRxiv(预印本)
  6. genomic-benchmarks PyPI 包(包仓库)
  7. NTv3 预印本(含 NTv3 Benchmark)(预印本)
  8. GENEB 套件 arXiv 2606.04525(第三方论文)

更正记录

以下为本轮核对中改过的字段,原值按记录照录。

字段 原 现 原因 出处 发现日期
latest_update 2025-07-30 2025-12-25 漏掉较晚的家族事件:NTv3 Benchmark(106 任务、7 物种)随 NTv3 预印本发布,v1 日期 2025-12-25。 依据 2026-11-16
latest_update_desc Genomic Benchmarks repo: cache moved to Zenodo and version bump; NT revised HF dataset got 'task' column 2025-06-30. NTv3 Benchmark (106 tasks, 7 species) released with the Nucleotide Transformer v3 preprint (bioRxiv v1 2025-12-25); InstaDeep blog 2026-02-18 is a later announcement of the same release. 说明与订正后的日期同步。 依据 2026-11-16
latest_update_kind code-maintenance-only data-release 该事件是家族成员的基准/数据发布。 依据 2026-11-16
family.members[GUE].first_release 2023-06-27 (arXiv 2306.15794) 2023-06 (arXiv 2306.15006; day unverified) 2306.15794 是另一篇论文(HyenaDNA),不是 DNABERT-2/GUE;按编号只能确定月份。 依据 2026-11-16
publisher (NT journal date) Nature Methods 2025-02 Nature Methods online 2024-11-28 核对发现 2025-02 可能是期号日期;在线日期为 2024-11-28。 依据 2026-11-16

本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。