09 scIB
单细胞整合的默认度量:批次去除与生物保守两组指标,由 Open Problems 平台承接。真值是作者注释而非实验金标准;指标会饱和、排名对权重敏感,scib 与 scib-metrics 数值不可互比
bench-09 · 类型 B+C · 证据 L2 · 单细胞 · 核心 30 项 · 截至 2026-11-16
概况
| 字段 | 内容 |
|---|---|
| 名称 / 别名 | scIB (+Open Problems);全称:单细胞整合基准(scIB),含 Open Problems 批次整合任务;别名:scIB、scib、scib-metrics、Open Problems batch_integration、task_batch_integration;有歧义、不自动链接:Open Problems |
| 家族 | 家族条目:scIB (paper and scib package) ;scib-metrics (reimplementation) ;NeurIPS 2021 multimodal single-cell competition †(未核实);Open Problems batch_integration task —†(未核实)。边界:家族条目:scIB 指标与包、scib-metrics 重实现、Open Problems 批次整合任务与 NeurIPS 2021 竞赛;scib 与 scib-metrics 数值不可互比 |
| 领域 | 单细胞 |
| 类型 | B+C:B 静态数据集套件;C 基础设施:检查器、切分工具或评测协议。数据集套件加指标工具,另有 living 平台 |
| 证据层级 | L2:回顾性,无盲测;真值为作者注释 |
| 发布方 | Helmholtz Munich、Open Problems in Single-Cell Analysis (community consortium)(多类机构联合) |
| 首次发布 | (依据:scIB 论文 bioRxiv v1(Nature Methods 在线 2021-12-23;PyPI scib 1.0.0 为 2021-10-24)) |
| 其他里程碑 | 预印本 v1 (scIB 论文 bioRxiv v1);期刊上线 (Nature Methods 在线(2022 年刊期));代码发布 (PyPI scib 1.0.0) |
| 最近更新 | ,新版本:scib-metrics 0.6.2 在 PyPI 发布;scib 仓库 2026-04-27 发布 1.2.1(rpy2 修复),此前 1.2.0 加入 Moran's I。(站内另记任务仓库 2026-11-03 发布 v2.1.0-rc3,未复核)。此为最近一次有出处的事件,不代表此后没有更新 |
| 下一次预期 | 无公告(living benchmark 不预告版本;各组件未公布下一版日期。) |
| 规模 | 原论文:16 种方法、13 个任务、85 个批次、14 项指标;Open Problems 2025 版 12 个任务 明细:整合方法(Nature Methods 2022 (68 with preprocessing combinations)) 16;整合任务(Nature Methods 2022) 13;批次(Nature Methods 2022) 85;指标(Nature Methods 2022) 14;细胞数(Nature Methods 2022) >1.2M cells;Open Problems 任务数(Nat Biotechnol 2025 version) 12;批次整合任务数据集(Open Problems task page, read 2026-11) 6 |
| 状态 | ● 活跃:经 Open Problems 持续运行;整合任务接近饱和 |
| wet lab 更新 | 累积:不新增实验;Open Problems 不定期从公开图谱新增数据集与任务 |
| 需自补 wet lab | 不需要 |
| 报告模型数 | 1 个计入(自报 1);另 2 条不计入(未证实 2) |
| 当前排名 | ▣ 榜单(见当前排名) |
| 全站实体页 | 无(全站 /entities/ 体系中没有该 benchmark 的页面。) |
| 截至 | 2026-11-16 |
测什么、怎么测
- 任务:单细胞数据整合质量:去除技术批次效应,同时保留细胞类型、轨迹等生物变异
- 真值:各数据集作者给定的细胞类型注释与实验批次元数据,非实测金标准
- 主指标:总分 = 0.4×批次去除 + 0.6×生物保守
- 次指标:批次:batch ASW、iLISI、kBET 等;生物:ARI/NMI、cLISI、isolated label 等
- 版本陷阱:须声明用 scib 还是 scib-metrics(数值不可互比);Open Problems 版本与数据集集合随时间变化
当前排名
状态:▣ 榜单
- 指标:Open Problems 批次整合:每数据集缩放后 13 项 scIB 指标均值,再对 6 个数据集取平均(失败或缺失计 0)
- 评测集 / 口径:Open Problems task_batch_integration, 6 CELLxGENE Census datasets; results run 2025-01 (website data commit 2025-02-10); page shows release 2.1.0-rc3 / stable v2.0.0
- 快照日期:(旧:早于截至日 12 个月以上)
- 榜单页面
排名行不显示分数:榜单页只按缩放总均值排序、不显示数值总分;推得的均值不作头条。
说明:名次由榜单自带数据文件推得,含对照方法;结果为 2025-01 运行;AIDO.Cell 与 scPRINT-2 未上榜,原论文不含基础模型
| 模型 | 名次 | 数值 | 指标 | 评测集 / 口径 | 来源类型 | 日期 | 出处 | 说明 |
|---|---|---|---|---|---|---|---|---|
| embed_cell_types_jittered (positive control)(非本站模型) | 1 | 不显示†(未核实) | Open Problems 批次整合:每数据集缩放后 13 项 scIB 指标均值,再对 6 个数据集取平均(失败或缺失计 0) | Open Problems task_batch_integration, 6 CELLxGENE Census datasets; results run 2025-01 (website data commit 2025-02-10); page shows release 2.1.0-rc3 / stable v2.0.0 | 榜单 | 出处 | 阳性对照,非模型;名次由数据文件推得,页面无总分 | |
| scanvi(非本站模型) | 4 | 不显示†(未核实) | Open Problems 批次整合:每数据集缩放后 13 项 scIB 指标均值,再对 6 个数据集取平均(失败或缺失计 0) | Open Problems task_batch_integration, 6 CELLxGENE Census datasets; results run 2025-01 (website data commit 2025-02-10); page shows release 2.1.0-rc3 / stable v2.0.0 | 榜单 | 出处 | 非本站模型;排名最高的非对照方法;名次由数据文件推得 | |
| scgpt_zeroshot | 18 | 不显示†(未核实) | Open Problems 批次整合:每数据集缩放后 13 项 scIB 指标均值,再对 6 个数据集取平均(失败或缺失计 0) | Open Problems task_batch_integration, 6 CELLxGENE Census datasets; results run 2025-01 (website data commit 2025-02-10); page shows release 2.1.0-rc3 / stable v2.0.0 | 榜单 | 出处 | 零样本 scGPT;6 个数据集中 2 个运行失败计 0;名次为推得值 | |
| geneformer | 23 | 不显示†(未核实) | Open Problems 批次整合:每数据集缩放后 13 项 scIB 指标均值,再对 6 个数据集取平均(失败或缺失计 0) | Open Problems task_batch_integration, 6 CELLxGENE Census datasets; results run 2025-01 (website data commit 2025-02-10); page shows release 2.1.0-rc3 / stable v2.0.0 | 榜单 | 出处 | Geneformer;2 个数据集缺失计 0,均值低于不整合对照;名次为推得值 | |
| scprint(非本站模型) | 25 | 不显示†(未核实) | Open Problems 批次整合:每数据集缩放后 13 项 scIB 指标均值,再对 6 个数据集取平均(失败或缺失计 0) | Open Problems task_batch_integration, 6 CELLxGENE Census datasets; results run 2025-01 (website data commit 2025-02-10); page shows release 2.1.0-rc3 / stable v2.0.0 | 榜单 | 出处 | scPRINT v1(非 scPRINT-2);结果全部缺失,名次反映失败而非性能 |
排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。
报告过的模型
按关系类型分组;计数口径见配对矩阵。1 个计入(自报 1);另 2 条不计入(未证实 2)。
开发方按官方口径自报(1)
- scGPT / Geneformer:仅 scGPT 论文自报整合结果;Geneformer 未报(自报,置信度中,未核实†;出处)
未证实(2,不计数)
- AIDO Cell:前一代模型的模型卡声称零样本聚类等任务领先,但未点名该评测、也没有数值,按未证实处理,不计入(自报,置信度中;出处)
- scPRINT-2:摘要称细胞嵌入达到最优但未点名 scIB,可核到的页面无分数;配对未证实,不计入(未知,置信度中,未核实†;出处)
局限与注意
- 真值是作者注释而非实验金标准;指标会饱和、排名对权重敏感,scib 与 scib-metrics 数值不可互比
- 第三方研究称零样本 scGPT 与 Geneformer 在细胞类型分离上不如 HVG、Harmony、scVI;基线现场拟合、基础模型不微调,设定不对等
- batch ASW 近饱和;一项研究构造出 scIB 高分但结构迥异的嵌入;对细胞类型内变异不敏感
- 预训练语料可能与评测数据重叠;无训练/测试切分,在同一数据上整合与评分
- 整合分数不对应任何实验命中率,最多是下游注释与图谱构建的代理
新模型怎么用
安装 scib-metrics,以 batch 与细胞类型标签调用 Benchmarker;或经 Open Problems 流程提交新方法,无需湿实验。须声明 scib 或 scib-metrics,报权重敏感性与群内指标;基础模型须同报 HVG、Harmony、scVI 现场拟合基线,并区分零样本与微调。可搭配 VCC 扰动预测。
搭配:虚拟细胞挑战赛与扰动预测评测 · DREAM5 / BEELINE / CausalBench
来源
- scIB 论文(Nature Methods 2022)(期刊)
- scIB 预印本(bioRxiv 2020)(预印本)
- Open Problems 批次整合榜单(榜单)
- Open Problems 榜单数据文件(仓库)
- scib-metrics(PyPI)(包仓库)
- scib(PyPI)(包仓库)
- Open Problems 平台预印本(预印本)
- 基础模型零样本评测(Genome Biol 2025)(第三方论文)
- scIB-E 补充指标(Genome Biol 2025)(第三方论文)
更正记录
以下为本轮核对中改过的字段,原值按记录照录。
| 字段 | 原 | 现 | 原因 | 出处 | 发现日期 |
|---|---|---|---|---|---|
| latest_update / version | scib-metrics v0.5.8 latest; scib repository has no formal release | scib-metrics 0.6.2 (2026-11-01); scib GitHub releases 1.2.0 / 1.2.1 (2026-04) | 站上版本信息过期:scib-metrics 最新为 0.6.2,scib 已有 GitHub release(PyPI 最后上传仍为 1.1.7,2025-01-13)。 | 依据 | 2026-11-16 |
| ranking.headline | headline pointing to a derived overall mean | null | 榜单页不显示数值总分,推得均值不作为可显示分数。 | 依据 | 2026-11-16 |
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。