模型与 Benchmark板块首页
总览
AI for Bio benchmark 总览模型 × benchmark 配对矩阵训练数据从哪来:公开库、私有授权、自产 wet lab 与…模型索引:112 个模型按领域分组44 个 benchmark 的规模、更新与 wet la…
Benchmark 档案:核心 30 项
01 CASP02 ProteinGym03 MoleculeNet04 TDC05 PoseBusters06 CASF-201607 USPTO family08 Basenji/Enformer test set09 scIB10 GuacaMol11 ClinVar hold-out protocol12 DUD-E / LIT-PCBA13 CAGI14 PubMedQA15 CAMEO16 GUE + Nucleotide Transform…17 CAFA18 LAB-Bench / LABBench219 PMO20 CACHE21 DREAM5 / BEELINE / CausalB…22 CAPRI23 BioASQ24 虚拟细胞挑战赛与扰动预测评测25 RNA-Puzzles26 FLIP / FLIP227 Polaris / ASAP / OpenADMET28 Adaptyv competitions / Ben…29 BixBench30 PLINDER / PINDER / Runs N'…
Benchmark 档案:补充 14 项
31 FoldBench32 CrossDocked202033 PoseX34 AbBiBench35 FLAb / FLAb236 AIntibody37 TraitGym38 BEND39 RNAGym40 MotifBench41 BioML-bench42 BioMysteryBench43 Ginkgo GDPa144 FS-Mol
模型:结构/共折叠
AF2-Multimer:Google DeepMindAlphaFold 3BioEmu-2Boltz-1 / Boltz-1xBoltz-2:MIT、Recursion、Boltz P…Chai-1:Chai DiscoveryChai-2:Chai DiscoveryDiffDock:MIT CSAILESMFold2HelixFold-S1:BaiduIntelliFold-2:IntelliGen AIIsoDDE:Isomorphic LabsMassiveFoldNeuralPLexer3OpenComplex2OpenDDE:Aureka AI Research、Au…OpenFold3Pearl:Genesis Molecular AIProtenixRF3:University of Washington …RhoFold+ / DRfold2 / trRosett…RNAPro:NVIDIA、Stanford Univer…SeedFold:ByteDance SeedVina:Scripps Research
模型:小分子
ADMET-AIAQAffinity:SandboxAQBeacon:Inductive BioChemformer:AstraZenecaChemprop v2:MITEnchant v1 / v2ether0:FutureHouseKERMT:Merck & Co.、NVIDIAMiniMol:Valence LabsMolE:RecursionMoLFormer-XL:IBM ResearchNesso-1:Valence Labs、Recursio…ReaSyn v2:NVIDIA、KAISTREINVENT 4RetroDFM-RSaturn:EPFLTamGen:Microsoft Research AI …TerraBind:Terray TherapeuticsTxGemma:Google DeepMind、Googl…Uni-Mol2Uni-Mol3
模型:蛋白
AlphaProteoAMPLIFY:Mila、Polytechnique Mo…BindCraftBoltzGenChai-3:Chai DiscoveryClaude 蛋白设计研究DPLM-2:ByteDance Research、Nan…Dyno Psi-1 / Psi-PhiESM C:Evolutionary Scale、Chan…ESM3:Evolutionary Scale、Chan …EVOLVEproLa-Proteina:NVIDIALatent-X / X2:Latent LabsLucaOne:Alibaba Cloud、Sun Yat…Mosaic:Escalante BioPinal:Westlake UniversityPoET-2:OpenProtein.AIProfluent-E1:ProfluentProGen3:ProfluentProSST:Shanghai Jiao Tong Uni…Proteina-Complexa:NVIDIARFdiffusion2 / 3SaProt:Westlake University、We…SeedProteo:ByteDance SeedVenusREMxTrimoPGLM
模型:抗体
GerminalHCAbLM:Nona Biosciences、HBM H…IgGM / IgGM-FMJAM / JAM-2:Nabla BioOrigin-1:AbsciRFantibodytFold:Tencent AI for Life Sci…
模型:基因组/RNA
AlphaGenome:Google DeepMindAlphaMissense:Google DeepMindBioReasonBorzoi:Calico Life SciencesBulkFormerEvo 2:Arc Institute、NVIDIA、St…NTv3:InstaDeeppopEVE:Harvard Medical School…RIBOSPAN
模型:单细胞
AIDO Cell:GenBio AIC2S-ScaleCellFM:Sun Yat-sen University…Lingshu-CellscGPT / GeneformerscPRINT-2Stack:Arc InstituteSTATE:Arc InstituteTahoe-x1:Tahoe TherapeuticsTranscriptFormerX-Cell:Xaira TherapeuticsxTrimoSCPerturb / scFoundation
模型:分子生成
GenMol:NVIDIA
模型:文本与 agent
Biomni:Stanford University、Ph…Co-ScientistGPT-Rosalind:OpenAIIntern-SKosmos / Edison AnalysisMedGemma / Med-GeminiQuine:Microsoft ResearchRobin:FutureHouseSciReasonerTxAgent:Harvard Medical SchoolVERID:Google Research前沿通用大模型:Anthropic、OpenAI、Goog…

09 scIB

整理 2026-11-16 · 来源与可靠度标注见正文
本文目录
  1. 概况
  2. 测什么、怎么测
  3. 当前排名
  4. 报告过的模型
  5. 局限与注意
  6. 新模型怎么用
  7. 来源
  8. 更正记录

单细胞整合的默认度量:批次去除与生物保守两组指标,由 Open Problems 平台承接。真值是作者注释而非实验金标准;指标会饱和、排名对权重敏感,scib 与 scib-metrics 数值不可互比

bench-09 · 类型 B+C · 证据 L2 · 单细胞 · 核心 30 项 · 截至 2026-11-16

概况

字段 内容
名称 / 别名 scIB (+Open Problems);全称:单细胞整合基准(scIB),含 Open Problems 批次整合任务;别名:scIB、scib、scib-metrics、Open Problems batch_integration、task_batch_integration;有歧义、不自动链接:Open Problems
家族 家族条目:scIB (paper and scib package) ;scib-metrics (reimplementation) ;NeurIPS 2021 multimodal single-cell competition †(未核实);Open Problems batch_integration task —†(未核实)。边界:家族条目:scIB 指标与包、scib-metrics 重实现、Open Problems 批次整合任务与 NeurIPS 2021 竞赛;scib 与 scib-metrics 数值不可互比
领域 单细胞
类型 B+C:B 静态数据集套件;C 基础设施:检查器、切分工具或评测协议。数据集套件加指标工具,另有 living 平台
证据层级 L2:回顾性,无盲测;真值为作者注释
发布方 Helmholtz Munich、Open Problems in Single-Cell Analysis (community consortium)(多类机构联合)
首次发布 (依据:scIB 论文 bioRxiv v1(Nature Methods 在线 2021-12-23;PyPI scib 1.0.0 为 2021-10-24))
其他里程碑 预印本 v1 (scIB 论文 bioRxiv v1);期刊上线 (Nature Methods 在线(2022 年刊期));代码发布 (PyPI scib 1.0.0)
最近更新 ,新版本:scib-metrics 0.6.2 在 PyPI 发布;scib 仓库 2026-04-27 发布 1.2.1(rpy2 修复),此前 1.2.0 加入 Moran's I。(站内另记任务仓库 2026-11-03 发布 v2.1.0-rc3,未复核)。此为最近一次有出处的事件,不代表此后没有更新
下一次预期 无公告(living benchmark 不预告版本;各组件未公布下一版日期。)
规模 原论文:16 种方法、13 个任务、85 个批次、14 项指标;Open Problems 2025 版 12 个任务 明细:整合方法(Nature Methods 2022 (68 with preprocessing combinations)) 16;整合任务(Nature Methods 2022) 13;批次(Nature Methods 2022) 85;指标(Nature Methods 2022) 14;细胞数(Nature Methods 2022) >1.2M cells;Open Problems 任务数(Nat Biotechnol 2025 version) 12;批次整合任务数据集(Open Problems task page, read 2026-11) 6
状态 ● 活跃:经 Open Problems 持续运行;整合任务接近饱和
wet lab 更新 累积:不新增实验;Open Problems 不定期从公开图谱新增数据集与任务
需自补 wet lab 不需要
报告模型数 1 个计入(自报 1);另 2 条不计入(未证实 2)
当前排名 ▣ 榜单(见当前排名)
全站实体页 无(全站 /entities/ 体系中没有该 benchmark 的页面。)
截至 2026-11-16

测什么、怎么测

  • 任务:单细胞数据整合质量:去除技术批次效应,同时保留细胞类型、轨迹等生物变异
  • 真值:各数据集作者给定的细胞类型注释与实验批次元数据,非实测金标准
  • 主指标:总分 = 0.4×批次去除 + 0.6×生物保守
  • 次指标:批次:batch ASW、iLISI、kBET 等;生物:ARI/NMI、cLISI、isolated label 等
  • 版本陷阱:须声明用 scib 还是 scib-metrics(数值不可互比);Open Problems 版本与数据集集合随时间变化

当前排名

状态:▣ 榜单

  • 指标:Open Problems 批次整合:每数据集缩放后 13 项 scIB 指标均值,再对 6 个数据集取平均(失败或缺失计 0)
  • 评测集 / 口径:Open Problems task_batch_integration, 6 CELLxGENE Census datasets; results run 2025-01 (website data commit 2025-02-10); page shows release 2.1.0-rc3 / stable v2.0.0
  • 快照日期:(旧:早于截至日 12 个月以上)
  • 榜单页面

排名行不显示分数:榜单页只按缩放总均值排序、不显示数值总分;推得的均值不作头条。

说明:名次由榜单自带数据文件推得,含对照方法;结果为 2025-01 运行;AIDO.Cell 与 scPRINT-2 未上榜,原论文不含基础模型

模型 名次 数值 指标 评测集 / 口径 来源类型 日期 出处 说明
embed_cell_types_jittered (positive control)(非本站模型) 1 不显示†(未核实) Open Problems 批次整合:每数据集缩放后 13 项 scIB 指标均值,再对 6 个数据集取平均(失败或缺失计 0) Open Problems task_batch_integration, 6 CELLxGENE Census datasets; results run 2025-01 (website data commit 2025-02-10); page shows release 2.1.0-rc3 / stable v2.0.0 榜单 出处 阳性对照,非模型;名次由数据文件推得,页面无总分
scanvi(非本站模型) 4 不显示†(未核实) Open Problems 批次整合:每数据集缩放后 13 项 scIB 指标均值,再对 6 个数据集取平均(失败或缺失计 0) Open Problems task_batch_integration, 6 CELLxGENE Census datasets; results run 2025-01 (website data commit 2025-02-10); page shows release 2.1.0-rc3 / stable v2.0.0 榜单 出处 非本站模型;排名最高的非对照方法;名次由数据文件推得
scgpt_zeroshot 18 不显示†(未核实) Open Problems 批次整合:每数据集缩放后 13 项 scIB 指标均值,再对 6 个数据集取平均(失败或缺失计 0) Open Problems task_batch_integration, 6 CELLxGENE Census datasets; results run 2025-01 (website data commit 2025-02-10); page shows release 2.1.0-rc3 / stable v2.0.0 榜单 出处 零样本 scGPT;6 个数据集中 2 个运行失败计 0;名次为推得值
geneformer 23 不显示†(未核实) Open Problems 批次整合:每数据集缩放后 13 项 scIB 指标均值,再对 6 个数据集取平均(失败或缺失计 0) Open Problems task_batch_integration, 6 CELLxGENE Census datasets; results run 2025-01 (website data commit 2025-02-10); page shows release 2.1.0-rc3 / stable v2.0.0 榜单 出处 Geneformer;2 个数据集缺失计 0,均值低于不整合对照;名次为推得值
scprint(非本站模型) 25 不显示†(未核实) Open Problems 批次整合:每数据集缩放后 13 项 scIB 指标均值,再对 6 个数据集取平均(失败或缺失计 0) Open Problems task_batch_integration, 6 CELLxGENE Census datasets; results run 2025-01 (website data commit 2025-02-10); page shows release 2.1.0-rc3 / stable v2.0.0 榜单 出处 scPRINT v1(非 scPRINT-2);结果全部缺失,名次反映失败而非性能

排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。

报告过的模型

按关系类型分组;计数口径见配对矩阵。1 个计入(自报 1);另 2 条不计入(未证实 2)。

开发方按官方口径自报(1)

  • scGPT / Geneformer:仅 scGPT 论文自报整合结果;Geneformer 未报(自报,置信度中,未核实†;出处)

未证实(2,不计数)

  • AIDO Cell:前一代模型的模型卡声称零样本聚类等任务领先,但未点名该评测、也没有数值,按未证实处理,不计入(自报,置信度中;出处)
  • scPRINT-2:摘要称细胞嵌入达到最优但未点名 scIB,可核到的页面无分数;配对未证实,不计入(未知,置信度中,未核实†;出处)

局限与注意

  1. 真值是作者注释而非实验金标准;指标会饱和、排名对权重敏感,scib 与 scib-metrics 数值不可互比
  2. 第三方研究称零样本 scGPT 与 Geneformer 在细胞类型分离上不如 HVG、Harmony、scVI;基线现场拟合、基础模型不微调,设定不对等
  3. batch ASW 近饱和;一项研究构造出 scIB 高分但结构迥异的嵌入;对细胞类型内变异不敏感
  4. 预训练语料可能与评测数据重叠;无训练/测试切分,在同一数据上整合与评分
  5. 整合分数不对应任何实验命中率,最多是下游注释与图谱构建的代理

新模型怎么用

安装 scib-metrics,以 batch 与细胞类型标签调用 Benchmarker;或经 Open Problems 流程提交新方法,无需湿实验。须声明 scib 或 scib-metrics,报权重敏感性与群内指标;基础模型须同报 HVG、Harmony、scVI 现场拟合基线,并区分零样本与微调。可搭配 VCC 扰动预测。

搭配:虚拟细胞挑战赛与扰动预测评测 · DREAM5 / BEELINE / CausalBench

来源

  1. scIB 论文(Nature Methods 2022)(期刊)
  2. scIB 预印本(bioRxiv 2020)(预印本)
  3. Open Problems 批次整合榜单(榜单)
  4. Open Problems 榜单数据文件(仓库)
  5. scib-metrics(PyPI)(包仓库)
  6. scib(PyPI)(包仓库)
  7. Open Problems 平台预印本(预印本)
  8. 基础模型零样本评测(Genome Biol 2025)(第三方论文)
  9. scIB-E 补充指标(Genome Biol 2025)(第三方论文)

更正记录

以下为本轮核对中改过的字段,原值按记录照录。

字段 原 现 原因 出处 发现日期
latest_update / version scib-metrics v0.5.8 latest; scib repository has no formal release scib-metrics 0.6.2 (2026-11-01); scib GitHub releases 1.2.0 / 1.2.1 (2026-04) 站上版本信息过期:scib-metrics 最新为 0.6.2,scib 已有 GitHub release(PyPI 最后上传仍为 1.1.7,2025-01-13)。 依据 2026-11-16
ranking.headline headline pointing to a derived overall mean null 榜单页不显示数值总分,推得均值不作为可显示分数。 依据 2026-11-16

本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。