25 RNA-Puzzles
RNA 三维结构社区盲测;准确率取决于有无近缘模板,而非模型范式。准确率取决于可用模板而非模型类型;2025 年 Kaggle 头名为非深度学习的模板管线;二级结构集存在同家族序列泄漏。
bench-25 · 类型 A+B · 证据 L4 · 结构/共折叠 · 核心 30 项 · 截至 2026-11-16
概况
| 字段 | 内容 |
|---|---|
| 名称 / 别名 | RNA-Puzzles;全称:RNA-Puzzles:RNA 三维结构预测社区盲测;别名:RNA-Puzzles Round V、Stanford RNA 3D Folding;有歧义、不自动链接:Ribonanza、bpRNA、ArchiveII |
| 家族 | 否(RNA-Puzzles 各轮是同一盲测的届次;Kaggle 与 CASP RNA 赛道为相关评测,记在规模与注释中,不作家族成员。) |
| 领域 | 结构/共折叠 |
| 类型 | A+B:A 周期盲测挑战,每届新题新真值;B 静态数据集套件。周期盲测加静态二级结构集 |
| 证据层级 | L4(范围 L2–L4):3D 盲测 L4;二级结构静态集 L2 |
| 发布方 | RNA-Puzzles consortium (academic groups)、Stanford University (Kaggle RNA 3D Folding)(学术实验室) |
| 首次发布 | (依据:RNA-Puzzles 创立论文(RNA 2012,PubMed 在线 2012-02-23);puzzle 约 2010-11 起开始运行) |
| 其他里程碑 | 期刊上线 (创立论文在线(RNA 2012));开赛 / 首批题目 †(未核实)(首批 puzzle 开始运行(据创立论文与站内笔记)) |
| 最近更新 | †(未核实),新一轮:官网 PZ74–PZ79 的 DNA 残基名更新,日期仅由 URL 推得、未核实;最近正式一轮为 Round V(论文 2024-12-02 在线)。(复查时官网未复现该日期;最近一轮 Round V 论文 2024-12-02 在线)。此为最近一次有出处的事件,不代表此后没有更新 |
| 下一次预期 | 无公告(截至 2026-11-16 未见 Round VI 公告。) |
| 规模 | Round V:23 个 puzzle、18 组;CASP16 核酸 42 靶;Kaggle 私榜 20 靶。 明细:Puzzle 数(Round V) 23 puzzles;参赛组(Round V) 18 groups;CASP15 RNA 靶 / 组(CASP15) 12 / 42;CASP16 核酸靶 / 组(CASP16) 42 / 65;Kaggle 私榜靶(含 10 个 RNA-Puzzles)(Kaggle RNA 3D Folding Part 1) 20 targets;Kaggle 参赛队(Kaggle RNA 3D Folding Part 1) 1,700+ teams |
| 状态 | ◐ 低频:Round V 已于 2025 年发表;CASP RNA 与 Kaggle 轮次继续 |
| wet lab 更新 | 新:轮次制,每轮 12–42 靶,真值为发表前提供的实验结构;新真值只能通过参加下一轮获得。 |
| 需自补 wet lab | 不需要 |
| 报告模型数 | 3 个计入(改协议 2 · 赛后复用 1);另 1 条不计入(仅引用 1) |
| 当前排名 | ▣ 榜单(见当前排名) |
| 全站实体页 | 无(全站 /entities/ 体系中没有该 benchmark 的页面。) |
| 截至 | 2026-11-16 |
测什么、怎么测
- 任务:从序列预测 RNA 三维结构,另有二级结构与化学反应性的相关静态集。
- 真值:评估前未公开的 X 射线、冷冻电镜或 NMR 实验结构。
- 主指标:RMSD、INF 与 DI(RNA-Puzzles)
- 次指标:TM-score(US-align,C1′);GDT_TS、lDDT(CASP 与 Kaggle)
- 版本陷阱:RNA-Puzzles、CASP RNA 与 Kaggle 的靶集、指标与赛制不同;人工组可用文献与实验约束,与服务器不是同一赛道。
当前排名
状态:▣ 榜单
- 指标:平均 TM-align(US-align,C1′)
- 评测集 / 口径:Kaggle Stanford RNA 3D Folding Part 1 private board: 20 targets incl. 10 RNA-Puzzles
- 快照日期:
- 榜单页面
当前第一:Kaggle private-board rank 1 team,0.578 (all, n=20); 0.491 (RNA-Puzzles, n=10)(平均 TM-align(US-align,C1′);Kaggle Stanford RNA 3D Folding Part 1 private board: 20 targets incl. 10 RNA-Puzzles;榜单;)
本站最佳:AlphaFold 3
说明:数字取自竞赛论文表 2(预印本),复现 Kaggle Part 1 私榜;Part 2 榜单未能读取,名次未知;RNA-Puzzles 本身无常设榜单。
| 模型 | 名次 | 数值 | 指标 | 评测集 / 口径 | 来源类型 | 日期 | 出处 | 说明 |
|---|---|---|---|---|---|---|---|---|
| Kaggle private-board rank 1 team(非本站模型) | 1 | 0.578 (all, n=20); 0.491 (RNA-Puzzles, n=10) | 平均 TM-align(US-align,C1′) | Kaggle Stanford RNA 3D Folding Part 1 private board: 20 targets incl. 10 RNA-Puzzles | 榜单 | 出处 | 非本站模型;总榜第一,为不用深度学习的模板发现管线。 | |
| Kaggle private-board rank 2 team(非本站模型) | 2 | 0.562 (all, n=20); 0.418 (RNA-Puzzles, n=10) | 平均 TM-align(US-align,C1′) | Kaggle Stanford RNA 3D Folding Part 1 private board: 20 targets incl. 10 RNA-Puzzles | 榜单 | 出处 | 非本站模型。 | |
| AlphaFold 3 | — | 0.464 (all, n=20); 0.396 (RNA-Puzzles, n=10) | 平均 TM-align(US-align,C1′) | Kaggle Stanford RNA 3D Folding Part 1 private board: 20 targets incl. 10 RNA-Puzzles | 第三方 | 出处 | 论文表 2 的参照对比行,不是参赛排名条目。 | |
| trRosettaRNA server | — | 0.438 (all, n=20); 0.340 (RNA-Puzzles, n=10) | 平均 TM-align(US-align,C1′) | Kaggle Stanford RNA 3D Folding Part 1 private board: 20 targets incl. 10 RNA-Puzzles | 第三方 | 出处 | 论文表 2 的参照对比行,不是参赛排名条目。 | |
| RNAPro | — | 0.648 (all, n=20); 0.541 (RNA-Puzzles, n=10) | 平均 TM-align(US-align,C1′) | Kaggle Stanford RNA 3D Folding Part 1 private board: 20 targets incl. 10 RNA-Puzzles | 自报 | 出处 | 赛后回溯模型,不是榜单条目,需前瞻验证。 | |
| NeuralPLexer3 | — | mean RNA lDDT 46.5 (AF3 47.3, AIchemy_RNA2 54.8) | 平均 RNA lDDT | CASP15 RNA, 8-target subset used in the AlphaFold 3 paper | 自报 | 出处 | CASP15 RNA 8 靶子集,协议与指标不同,不可与 Kaggle TM-align 列比较。 |
排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。
报告过的模型
按关系类型分组;计数口径见配对矩阵。3 个计入(改协议 2 · 赛后复用 1);另 1 条不计入(仅引用 1)。
开发方自报,协议有改动(2)
- NeuralPLexer3:用某届 CASP 的 RNA 8 靶子集,基线数字引自另一论文而非同条件重跑(自报,置信度高;出处)
- RNAPro:开发方自报,口径为竞赛私有榜内的 RNA-Puzzles 子集,与官方赛制不同(自报,置信度中,未核实†;出处)
赛后数据复用(1)
- RhoFold+/DRfold2/trRosettaRNA:DRfold2 与 trRosettaRNA2 的 RNA-Puzzles 成绩未证实:前者把靶点与其他集合混并汇总,后者的成绩属前代(未核实 / unverified)(第三方,置信度中,未核实†;出处)
仅被引用作比较(1,不计数)
- AlphaFold 3:数字取自它自己的论文、被第三方转引,不是该赛事条目(第三方,置信度中,未核实†;出处)
局限与注意
- 准确率取决于可用模板而非模型类型;2025 年 Kaggle 头名为非深度学习的模板管线;二级结构集存在同家族序列泄漏。
- 靶点极少(一轮最多 23 个,Kaggle 私榜 20 个),无置信区间。
- CASP16 评估称控制模板后无显著进步,无模板靶几乎无成功;RNA-蛋白复合物仍失败。
- TM-score 只用 C1′ 原子,忽略非典型相互作用。
- 最近更新日期仅由 URL 推得,未核实;Kaggle Part 2 结果未取到。
新模型怎么用
用 RNA_assessment 脚本与 US-align 静态跑已揭盲的历史靶点;真盲测只能等下一届 CASP 或 Kaggle。报告须按有无近缘模板分层,附"检索最近 PDB 模板"基线,写明靶点集与每靶模型数;不要用随机切分的二级结构集宣称泛化。
来源
- RNA-Puzzles 创立论文(RNA 2012)(期刊)
- RNA-Puzzles Round V(Nat Methods 2025)(期刊)
- RNA-Puzzles 官网(官方网站)
- Kaggle Stanford RNA 3D Folding 竞赛论文(预印本)(预印本)
- Kaggle RNA 3D Folding Part 1(榜单)
- Kaggle RNA 3D Folding Part 2(榜单)
- CASP15 RNA 评估(第三方论文)
- CASP16 核酸评估(第三方论文)
- RNA_assessment 评估脚本(仓库)
更正记录
以下为本轮核对中改过的字段,原值按记录照录。
| 字段 | 原 | 现 | 原因 | 出处 | 发现日期 |
|---|---|---|---|---|---|
| latest_update_desc | Kaggle Stanford RNA 3D Folding Part 2 final submission deadline; RNA-Puzzles proper last round V paper (online 2024-12-02). No Round VI announced. | Site item 'PZ74-PZ79 update: DNA residue names' dated 2026-04-02 from its URL only; the official site did not return this date or a dated news entry on re-check, so the date must display as unverified. Last RNA-Puzzles round proper: Round V paper online 2024-12-02. The 2026-03-25 Kaggle deadline belongs to the Kaggle component, not RNA-Puzzles. | 审阅:该日期在官网无法复现,由 URL 推得的日期不算证据。 | 依据 | 2026-11-16 |
| latest_update | 2026-03-25 | 2026-04-02 | 2026-03-25 是 Kaggle 组件的截止日,不是 RNA-Puzzles 轮次;改为官网条目日期,但该日期仅由 URL 推得,显示为未核实。 | 依据 | 2026-11-16 |
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。