PerturBench
扰动预测基准框架,主张在 RMSE 之外报告排序指标
内容与规模
Altos Labs(后加 UCL)提出的单细胞扰动预测基准框架,arXiv 2408.10609,v4 为 2025-10 [1]。具体数据集数与任务数未核到,省略。
真值来源与是否盲测
评测数据来自既有公开的单细胞扰动数据集(回顾式),不是前瞻盲测。
谁用它发布结果、运营方角色
发现简单架构有时优于复杂模型、部分模型有模式塌缩,主张在 RMSE 之外报告排序指标;其排序指标被 Arc Virtual Cell Challenge 采用 [1]。运营方 Altos Labs 是做相关模型的公司,既出基准又可能参评。
缺陷与相关证据
同类线性基线警示:Ahlmann-Eltze 等(Nature Methods 2025-08-04)发现 5 个基础模型加 2 个深度模型无一优于"不变"与"加和"这类简单基线 [2]。扰动评测的指标可被投机(如靠预测均值拉低 MAE),所以指标选择本身是基准设计的一部分。
来源
相关卡片
卡片整理 2026-10-15。公司自报数据标“公司口径”;⚠️ 为未经独立核实。