cz-benchmarks
Biohub/CZI 的单细胞评测开源包,初版 6 任务
内容与规模
Biohub/CZI 与 NVIDIA 共建的开源 Python 包,2025-10 宣布。初版含 6 个单细胞任务:聚类、细胞类型分类、跨物种整合、扰动表达预测、序贯排序、跨物种疾病标签迁移,每任务多指标;计划加入留出评测集、影像与变异效应预测 [1][2]。
真值来源与是否盲测
评测基于既有标注数据(如来自 CZ CELLxGENE Discover / Census 一类公共数据),属回顾式;留出集尚在计划中,当前不是盲测。
谁用它发布结果、运营方角色
面向虚拟细胞模型开发者的公共评测工具,运营方为慈善基金会(Chan Zuckerberg Biohub),同时也是相关数据与模型的提供方,评测方与参评生态有利益关联。
缺陷
任务偏标准化的单细胞分析,对扰动预测的可靠性仍受线性基线问题影响(见 PerturBench);采用度与第三方复现结果未核到。
来源
相关卡片
Chan Zuckerberg Biohub公司与机构 · 美国
CZI Science 与 Biohub 合并,并入 EvolutionaryScale 团队
Arc Virtual Cell Challenge数据集 · 美国
Arc Institute 扰动预测竞赛,2026 年改为零样本
CZ CELLxGENE Discover / Census数据集 · 美国
CZI 策展的单细胞库,约 2.18 亿细胞(去重约 1.25 亿)
PerturBench论文与基准 · 英国
扰动预测基准框架,主张在 RMSE 之外报告排序指标
AnnData工具与格式 · 欧洲
单细胞矩阵标准容器,h5ad/Zarr 磁盘格式
卡片整理 2026-10-15。公司自报数据标“公司口径”;⚠️ 为未经独立核实。