16 GUE + Nucleotide Transformer 基准
DNA 语言模型的短序列调控元件分类套件;只能当冒烟测试。随机初始化的同架构模型与小 CNN 常追平或超过预训练模型;随机种子波动可达 5 个点;NT 原版与修订版不可比
bench-16 · 类型 B · 证据 L2 · 基因组/RNA · 核心 30 项 · 截至 2026-11-16
概况
| 字段 | 内容 |
|---|---|
| 名称 / 别名 | GUE + Nucleotide Transformer 基准;全称:GUE(基因组理解评估)、Nucleotide Transformer 下游任务与 Genomic Benchmarks 套件;别名:GUE、GUE+、Genome Understanding Evaluation、NT benchmark、Nucleotide Transformer downstream tasks、Genomic Benchmarks、NTv3 Benchmark;有歧义、不自动链接:Nucleotide Transformer、NT |
| 家族 | 家族条目:Genomic Benchmarks ;Nucleotide Transformer downstream tasks (original) ;GUE / GUE+ (DNABERT-2) †(未核实);Nucleotide Transformer downstream tasks (revised) 约 2024†(未核实);NTv3 Benchmark 。边界:家族条目:GUE/GUE+、NT 下游任务(原版与修订版不可比)、Genomic Benchmarks 与 NTv3 Benchmark;BEND 与 DART-Eval 不在内 |
| 领域 | 基因组/RNA |
| 类型 | B:B 静态数据集套件。静态数据集套件 |
| 证据层级 | L2(范围 L2–L3):NT 修订版染色体留出,近 L3 |
| 发布方 | InstaDeep、Northwestern University、CEITEC, Masaryk University(多类机构联合) |
| 首次发布 | (依据:家族最早成员 Genomic Benchmarks 的 bioRxiv v1(期刊版 BMC Genomic Data 2023-05-01)) |
| 其他里程碑 | 预印本 v1 (家族最早成员 Genomic Benchmarks 的 bioRxiv v1(期刊版 BMC Genomic Data 2023-05-01));期刊上线 †(未核实)(Genomic Benchmarks 期刊版(BMC Genomic Data)) |
| 最近更新 | ,数据发布:NTv3 Benchmark(106 个任务、7 个物种)随 NTv3 预印本发布(bioRxiv v1 2025-12-25);InstaDeep 2026-02-18 博客是同一发布的后续宣传。此为最近一次有出处的事件,不代表此后没有更新 |
| 下一次预期 | 无公告(各套件均无公告的下一版本。) |
| 规模 | GUE 28 个数据集(另 GUE+ 8 个);NT 18 个任务,修订版 532,064 行;Genomic Benchmarks 9 个数据集 明细:数据集(GUE + GUE+) 28 + 8;任务(NT downstream) 18;行数(NT revised) 532,064;数据集(Genomic Benchmarks) 9;任务(7 个物种)(NTv3 Benchmark) 106 |
| 状态 | ◐ 低频:仍被使用但已饱和;2026-06 的更大套件 GENEB 部分取代 |
| wet lab 更新 | 静态:无;复用 ENCODE 等公开数据 |
| 需自补 wet lab | 不需要 |
| 报告模型数 | 0 个计入 |
| 当前排名 | — 无排名(见当前排名) |
| 全站实体页 | 无(全站 /entities/ 体系中没有该 benchmark 的页面。) |
| 截至 | 2026-11-16 |
测什么、怎么测
- 任务:判断 ≤1 kb 短序列是否带某种调控特征,如启动子、增强子、剪接位点与组蛋白标记
- 真值:ENCODE 等公开注释给出的元件标签;负样本构造随版本不同(打乱序列、随机序列或真实基因组片段)
- 主指标:MCC
- 次指标:F1(GUE 病毒变异任务);10 折交叉验证 MCC(NT 修订版)
- 版本陷阱:NT 原版与修订版分数不可比;tokenizer、微调或冻结探针、pooling 方式都会改变分数,须逐项写明
当前排名
状态:— 无排名
- 指标:MCC(GUE 28 集平均;NT 10 折交叉验证 MCC)
- 评测集 / 口径:GUE / NT downstream (original & revised) / Genomic Benchmarks
说明:无官方榜单,本站模型均未在这些套件上报分(NTv3 用自建 106 任务基准,Evo 2 未报);站外两模型的 GUE 平均 MCC 仅差 0.13,在种子噪声内(未复核)
排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。
报告过的模型
按关系类型分组;计数口径见配对矩阵。0 个计入。
暂无模型与本 benchmark 构成配对。
局限与注意
- 随机初始化的同架构模型与小 CNN 常追平或超过预训练模型;随机种子波动可达 5 个点;NT 原版与修订版不可比
- 测的更多是局部模体与 GC 组成;只有同分布短序列分类,无变异、跨细胞类型或跨物种 OOD,也无前瞻验证
- NTv3 与 Evo 2 均未在 GUE/NT 套件上报分;主要使用者不在本站模型页
- GUE 论文内部数据集数写法不一(28、36 等),本页取 28+8
新模型怎么用
下载即可运行,无需湿实验。NT 选修订版;多 seed 报置信区间;同表加入随机初始化同架构、小 CNN、k-mer 加线性模型三类基线,并写明 tokenizer 与微调或探针设定。另补 BEND(长程与变异);变异层面见 ClinVar 与 Enformer。
搭配:BEND · ClinVar hold-out protocol · Basenji/Enformer test set · TraitGym
来源
- GUE / DNABERT-2 论文 arXiv 2306.15006(预印本)
- Nucleotide Transformer 论文 bioRxiv(预印本)
- Nucleotide Transformer 期刊版(Nature Methods)(期刊)
- NT 修订版数据卡(仓库)
- Genomic Benchmarks bioRxiv(预印本)
- genomic-benchmarks PyPI 包(包仓库)
- NTv3 预印本(含 NTv3 Benchmark)(预印本)
- GENEB 套件 arXiv 2606.04525(第三方论文)
更正记录
以下为本轮核对中改过的字段,原值按记录照录。
| 字段 | 原 | 现 | 原因 | 出处 | 发现日期 |
|---|---|---|---|---|---|
| latest_update | 2025-07-30 | 2025-12-25 | 漏掉较晚的家族事件:NTv3 Benchmark(106 任务、7 物种)随 NTv3 预印本发布,v1 日期 2025-12-25。 | 依据 | 2026-11-16 |
| latest_update_desc | Genomic Benchmarks repo: cache moved to Zenodo and version bump; NT revised HF dataset got 'task' column 2025-06-30. | NTv3 Benchmark (106 tasks, 7 species) released with the Nucleotide Transformer v3 preprint (bioRxiv v1 2025-12-25); InstaDeep blog 2026-02-18 is a later announcement of the same release. | 说明与订正后的日期同步。 | 依据 | 2026-11-16 |
| latest_update_kind | code-maintenance-only | data-release | 该事件是家族成员的基准/数据发布。 | 依据 | 2026-11-16 |
| family.members[GUE].first_release | 2023-06-27 (arXiv 2306.15794) | 2023-06 (arXiv 2306.15006; day unverified) | 2306.15794 是另一篇论文(HyenaDNA),不是 DNABERT-2/GUE;按编号只能确定月份。 | 依据 | 2026-11-16 |
| publisher (NT journal date) | Nature Methods 2025-02 | Nature Methods online 2024-11-28 | 核对发现 2025-02 可能是期号日期;在线日期为 2024-11-28。 | 依据 | 2026-11-16 |
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。