39 RNAGym
RNA 适应度与结构的零样本评测框架。适应度部分只有零样本设定,独立团队认为该口径对适应度预测过窄。
bench-39 · 类型 B · 证据 L2 · 基因组/RNA · 补充收录 · 截至 2026-11-16
概况
| 字段 | 内容 |
|---|---|
| 名称 / 别名 | RNAGym;别名:RNAgym |
| 家族 | 否(三个任务属同一套评测框架,不构成家族。) |
| 领域 | 基因组/RNA(次领域:结构/共折叠) |
| 类型 | B:B 静态数据集套件。固定数据集,适应度部分为零样本。 |
| 证据层级 | L2:回顾性零样本,无盲测、无前瞻。 |
| 发布方 | Harvard Medical School(学术实验室) |
| 首次发布 | (依据:bioRxiv 预印本 v1(10.1101/2025.06.16.660049);HF 数据集创建日不作首发证据) |
| 其他里程碑 | 预印本 v1 (bioRxiv 预印本 v1);代码发布 †(未核实)(官方仓库 release v0.1.0(仓库 URL 不收录,见说明)) |
| 最近更新 | †(未核实),榜单条目:适应度榜新增两个模型条目,过期的 mRNA 榜被移除;2026-07-20 改用带符号 Spearman 指标;v0.2 分支仍在推进。此为最近一次有出处的事件,不代表此后没有更新 |
| 下一次预期 | 无公告(v0.2 分支在推进,但作者未公告发布日期。) |
| 规模 | 70 个 DMS assay(超 100 万突变);90.1 万条化学探测反应性谱;215 个 PDB 三级结构。 明细:DMS assay 数(paper v1) 70;变体数(third-party tabulation) 1,117,295;化学探测反应性谱(paper v1) 901,000;三级结构(paper v1) 215;适应度榜 assay 数(board, ncRNA only) 31 |
| 状态 | ● 活跃:适应度榜 2026-08 更新;官网仓库自述尚未同步;论文仍为预印本。 |
| wet lab 更新 | 静态:复用已发表的 DMS 与化学探测实验,不新增。 |
| 需自补 wet lab | 不需要 |
| 报告模型数 | 1 个计入(自报 1);另 1 条不计入(未证实 1) |
| 当前排名 | ▣ 榜单(见当前排名) |
| 全站实体页 | 无(全站 /entities/ 体系中没有该 benchmark 的页面。) |
| 截至 | 2026-11-16 |
测什么、怎么测
- 任务:三项任务放在同一框架:RNA 适应度零样本打分、二级结构反应性预测、三级结构预测。
- 真值:已发表的 DMS 适应度测量、化学探测反应性谱与 PDB 结构。
- 主指标:与实测适应度的 Spearman 相关。
- 次指标:AUROC 与 MCC。;结构任务另有指标。
- 版本陷阱:v0.1.1 起改用带符号 Spearman 且只计 ncRNA,与早前数字不可比;须按 RNA 类别聚合后等权平均,并标明是否含 mRNA assay。
当前排名
状态:▣ 榜单
- 指标:带符号 Spearman 相关,按三类 ncRNA 宏平均、类别等权(v0.1.1 起)
- 评测集 / 口径:RNAGym fitness board, ncRNA only (31 assays); mRNA coding and splicing assays excluded
- 快照日期:†(未核实)
- 榜单页面†(未核实)
排名行不显示分数:榜单第一名条目未核实,排名行不显示分数
说明:数值读自官方仓库的榜单文件(项目官网当时未同步);v0.1.1 改指标后与早前数字不可比;仓库自述宏平均过度加权两个极小类,差距小于约 0.01 无意义;只有适应度有榜。
| 模型 | 名次 | 数值 | 指标 | 评测集 / 口径 | 来源类型 | 日期 | 出处 | 说明 |
|---|---|---|---|---|---|---|---|---|
| Evo 2 (40B) | 1 | 不显示†(未核实) | 带符号 Spearman 相关,按三类 ncRNA 宏平均、类别等权(v0.1.1 起) | RNAGym fitness leaderboard, ncRNA only (31 assays); mRNA coding/splicing assays excluded | 榜单 | †(未核实) | 出处 | 榜上总体第 1,且为站内模型。 |
| RNA-ERNIE(非本站模型) | 2 | 不显示†(未核实) | 带符号 Spearman 相关,按三类 ncRNA 宏平均、类别等权(v0.1.1 起) | RNAGym fitness leaderboard, ncRNA only (31 assays); mRNA coding/splicing assays excluded | 榜单 | †(未核实) | 出处 | 非站内模型。 |
| Evo 2 (7B) | 3 | 不显示†(未核实) | 带符号 Spearman 相关,按三类 ncRNA 宏平均、类别等权(v0.1.1 起) | RNAGym fitness leaderboard, ncRNA only (31 assays); mRNA coding/splicing assays excluded | 榜单 | †(未核实) | 出处 | 同一模型的另一检查点;更早的两代分列第 7 与第 11。 |
| RIBOSPAN (1K-40 checkpoint) | — | 不显示†(未核实) | 开发方自报口径下的 Spearman、AUROC 与 MCC | RNAGym fitness assays under the developer paper's own aggregation (not the current board protocol) | 自报 | 出处 | 不在官方榜上;开发方按自己的聚合口径自报,与现行榜指标和 assay 范围不同,故不给名次。 |
排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。
报告过的模型
按关系类型分组;计数口径见配对矩阵。1 个计入(自报 1);另 1 条不计入(未证实 1)。
开发方按官方口径自报(1)
未证实(1,不计数)
局限与注意
- 适应度部分只有零样本设定,独立团队认为该口径对适应度预测过窄。
- 数据来自已发表 DMS,可能与模型预训练语料重叠,原文无去重审计。
- 只有适应度有榜,结构任务有基线脚本但无榜单;榜只计 ncRNA。
- 宏平均口径下 tRNA 与 aptamer 两类只有个位数 assay,权重被放大。
- 命名与协议沿用 ProteinGym,但覆盖面已被更大的核酸套件追赶,两者统计口径不同。
新模型怎么用
下载数据与基线脚本,对每个 assay 做零样本打分:自回归模型用序列对数似然差,掩码模型用 masked-marginal。按 RNA 类别聚合后等权平均,不要跨所有 assay 直接取平均;同时报 Spearman、AUROC 与 MCC,写明序列窗口处理、是否含 mRNA assay 与指标版本。结构任务另需对应流程;规模对照可同时报更大的核酸适应度套件。
搭配:ProteinGym · RNA-Puzzles · FLIP / FLIP2 · GUE + Nucleotide Transformer 基准
来源
- RNAGym 预印本(bioRxiv 10.1101/2025.06.16.660049)(预印本),
- 项目官网 rnagym.org(含官方仓库入口)(官方网站)
- 官方仓库内的适应度榜单文件(经官网入口)(榜单),†(未核实)
- ICLR 2025 研讨会条目(官方网站)
- 第三方使用:RIBOSPAN 论文(第三方论文)
- 第三方对照:NABench 论文(第三方论文)
更正记录
以下为本轮核对中改过的字段,原值按记录照录。
| 字段 | 原 | 现 | 原因 | 出处 | 发现日期 |
|---|---|---|---|---|---|
| first_release | 2025-05-15 | 2025-06-17 | 原值是 Hugging Face 数据集创建日;仓库与 HF 创建日不作首发证据,改用预印本 v1。 | 依据 | 2026-11-16 |
| first_release_basis | Hugging Face dataset created (public data release); ICLR 2025 workshop paper same spring; bioRxiv v1 2025-06-17 | bioRxiv preprint v1, 2025-06-17; the dataset creation date and the undated workshop paper are notes only | 依据与口径对齐,原值降为注。 | 依据 | 2026-11-16 |
| status_note | no official leaderboard page found | a fitness leaderboard is published in the repository and was updated 2026-08-14 | 站上漏记仓库内的适应度榜、release v0.1.0 与项目官网。 | 依据 | 2026-11-16 |
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。