08 Basenji/Enformer test set
序列到功能模型的事实口径:固定留出区域上的表观与表达轨迹预测。跨基因相关主要反映哪些基因本来高表达,不等于个体间预测能力。
bench-08 · 类型 B · 证据 L2 · 基因组/RNA · 核心 30 项 · 截至 2026-11-16
概况
| 字段 | 内容 |
|---|---|
| 名称 / 别名 | Basenji/Enformer test set;全称:Basenji/Enformer 序列到功能测试集(Basenji2 数据与固定切分);别名:Basenji test set、Basenji2 test split、Enformer test set、cross2020 data;有歧义、不自动链接:Enformer、Basenji |
| 家族 | 家族条目:Basenji ;Basenji2 cross-species data †(未核实);Enformer 。边界:本条指数据与固定切分,不指任一模型;后续模型重划折或改轨迹集,属各自的协议,不计入本条。 |
| 领域 | 基因组/RNA |
| 类型 | B:B 静态数据集套件。固定切分的静态数据集套件,无榜单 |
| 证据层级 | L2(范围 L2–L3):主任务为同基因组留出区域;变异任务近 L3 |
| 发布方 | Calico Life Sciences、DeepMind(多类机构联合) |
| 首次发布 | †(未核实)(依据:家族最早成员:Basenji 的 bioRxiv 预印本;期刊版 2018-03-27。固定切分随后由 Basenji2 数据确定。) 家族口径日期,不是后来同名模型的发布日 |
| 其他里程碑 | 最早公开证据 (家族中最早的公开预印本);预印本 v1 (确立当前常用口径的那篇预印本);期刊上线 (期刊在线发表) |
| 最近更新 | †(未核实),仅维护:早期数据仓库的一次依赖冻结提交,属代码维护;基准数据与切分未变。(提交位于早期数据的仓库,不是后续模型的仓库)。此为最近一次有出处的事件,不代表此后没有更新 |
| 下一次预期 | 无公告(没有维护方公告新版本或新切分。) |
| 规模 | 人 5,313 条轨迹、鼠 1,643 条;人测试集 1,937 条序列,每条 393,216 bp。 明细:人类轨迹数(Basenji2) 5313;小鼠轨迹数(Basenji2) 1643;人类训练/验证/测试序列(Basenji2) 34021/2213/1937;小鼠训练/验证/测试序列(Basenji2) 29295/2209/2017;输入序列长度(Enformer) 393216 {'zh': '碱基', 'en': 'bp'};输出分箱宽度(Enformer) 128 {'zh': '碱基', 'en': 'bp'} |
| 状态 | ● 活跃:数据稳定,被后续模型沿用;无榜单 |
| wet lab 更新 | 静态:不做新实验;复用公开表观轨迹,变异任务用公开 eQTL 与 MPRA 数据。 |
| 需自补 wet lab | 断言真实泛化时需要 |
| 报告模型数 | 3 个计入(自报 3) |
| 当前排名 | ○ 自报(见当前排名) |
| 全站实体页 | 无(全站 /entities/ 体系中没有该 benchmark 的页面。) |
| 截至 | 2026-11-16 |
测什么、怎么测
- 任务:由 DNA 序列预测数千条表观与转录轨迹,并用参考与变异序列的预测差给变异效应打分。
- 真值:公开实验轨迹(批次与覆盖度异质);变异标签来自统计精细定位,不是实验验证。
- 主指标:轨迹 Pearson 相关(128 bp 分箱)
- 次指标:基因级 Pearson 相关;变异效应 auROC
- 版本陷阱:须写明用的是哪一代数据、哪套折与分辨率;后续模型重划折后,逐分箱数字不可直接互比。
当前排名
状态:○ 自报
- 指标:轨迹 Pearson(128/32/1 bp 分箱)、基因级 Pearson、变异 auROC
- 评测集 / 口径:Basenji2 held-out test intervals (Borzoi/AlphaGenome use own re-folded splits)
- 快照日期:
排名行不显示分数:来源中没有第 1 名条目,各条目口径不同,不给头条数字。
说明:没有榜单;各篇论文的轨迹集、折与分辨率都不同,数字不可横向比较,相对提升均为各自论文的自报口径。
| 模型 | 名次 | 数值 | 指标 | 评测集 / 口径 | 来源类型 | 日期 | 出处 | 说明 |
|---|---|---|---|---|---|---|---|---|
| AlphaGenome (all-folds, pre-trained) | — | 不显示†(未核实) | 轨迹 Pearson(128/32/1 bp 分箱)、基因级 Pearson、变异 auROC | Basenji2 held-out test intervals (Borzoi/AlphaGenome use own re-folded splits) | 自报(二手) | 出处 | 模型卡已于 2026-11-16 核对;论文另称多数评测领先,未复核 | |
| Enformer(非本站模型) | — | 不显示†(未核实) | 轨迹 Pearson(128/32/1 bp 分箱)、基因级 Pearson、变异 auROC | Basenji2 held-out test intervals (Borzoi/AlphaGenome use own re-folded splits) | 自报(二手) | 出处 | 非本站模型;参考基线,取自站内既有注记,未复核 | |
| Borzoi | — | 不显示†(未核实) | 轨迹 Pearson(128/32/1 bp 分箱)、基因级 Pearson、变异 auROC | Basenji2 held-out test intervals (Borzoi/AlphaGenome use own re-folded splits) | 自报(二手) | 出处 | 二手数字,取自站内既有注记;所用折与轨迹集不同 | |
| NTv3 | — | 不显示:出处不全 | 轨迹 Pearson(128/32/1 bp 分箱)、基因级 Pearson、变异 auROC | Basenji2 held-out test intervals (Borzoi/AlphaGenome use own re-folded splits) | 自报 | 出处 | 自建任务集上的自报,本集上无对应数字,不可比 |
排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。
报告过的模型
按关系类型分组;计数口径见配对矩阵。3 个计入(自报 3)。
开发方按官方口径自报(3)
- AlphaGenome:前代轨迹测试集;对比对象是每项任务各自最强的外部模型,不是统一榜单(自报,置信度高;出处)
- Borzoi:开发方自报,论文用自建 eQTL/sQTL 任务与 Enformer 轨迹测试(自报,置信度高;出处)
- NTv3:沿用前代轨迹集的折与设置微调;只给相对提升,未与另一家大厂模型直接对比(自报,置信度高;出处)
局限与注意
- 跨基因相关主要反映哪些基因本来高表达,不等于个体间预测能力。
- 一项独立研究报告跨个体平均相关接近零,且部分基因显著反相关。
- 参考序列上的改进不保证变异效应预测改进,细胞类型特异区域上更弱。
- 零样本与微调结果常被混报;复用时多只给单点相关,无置信区间。
- 变异任务的真值来自统计精细定位,不是实验验证的因果变异。
新模型怎么用
下载数据与固定切分,在留出区域上预测轨迹并计算相关,再用参考与变异序列的预测差做变异任务;静态即可跑完,不需自补湿实验。报告须写明数据代次、折、分辨率与轨迹子集,区分零样本与微调结果,并单列个体层面的评测,不要只给跨基因相关。可搭配 TraitGym 与 BEND。
搭配:TraitGym · BEND · GUE + Nucleotide Transformer 基准 · ClinVar hold-out protocol
来源
- 确立当前口径的期刊论文(期刊)
- 家族最早的预印本(预印本)
- 跨物种数据论文(期刊)
- 早期数据与代码仓库(仓库)
- 个体层面表现的第三方研究(第三方论文)
- 沿用本数据的后续模型论文(期刊)
更正记录
以下为本轮核对中改过的字段,原值按记录照录。
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。