40 MotifBench
30 道固定 motif scaffolding 题目,统一流水线判定,附提交制榜单;真值仍是计算的。分数只反映计算自洽,不代表可表达、可折叠或有功能。
bench-40 · 类型 D · 证据 L2 · 蛋白 · 补充收录 · 截至 2026-11-16
概况
| 字段 | 内容 |
|---|---|
| 名称 / 别名 | MotifBench |
| 家族 | 否(单一题库与单一榜单,无家族成员。) |
| 领域 | 蛋白(次领域:分子生成) |
| 类型 | D:D 计算 oracle,真值来自打分函数或折叠回读。计算 oracle 题库,附提交制榜单 |
| 证据层级 | L2:计算自洽:ProteinMPNN 重设计加 ESMFold 折叠回读 |
| 发布方 | Multi-lab academic collaboration (MotifBench maintainers)(学术实验室) |
| 首次发布 | (依据:arXiv 2502.12479 v1(仓库 2024-06-14 创建,不作首发)) |
| 其他里程碑 | 最早公开证据 (最早可证公开证据为论文 v1;仓库创建日 2024-06-14 仅作注,不得作首发);预印本 v1 (arXiv 2502.12479 v1) |
| 最近更新 | ,榜单条目:榜单更新:2026-11-06 加入 RFD4-Proteina 结果,2026-11-10/13 重排并合并为一条。此为最近一次有出处的事件,不代表此后没有更新 |
| 下一次预期 | 无公告(维护方未公告下一个版本或轮次。) |
| 规模 | 30 道题,按 motif 片段数分三组各 10 题;每题要求 100 个支架。 明细:题目数(paper v2) 30;分组(paper v2) 3 x 10;每题支架数(paper v2) 100;每支架重设计序列数(paper v2) 8;榜单条目数(2026-11-16) 15 |
| 状态 | ● 活跃:活跃:榜单自 2025-02 至 2026-11 持续有新条目。 |
| wet lab 更新 | 静态:纯计算评测;参考支架取自实验结构,评测本身不含湿实验。 |
| 需自补 wet lab | 断言真实泛化时需要 |
| 报告模型数 | 3 个计入(榜 3) |
| 当前排名 | ▣ 榜单(见当前排名) |
| 全站实体页 | 无(全站 /entities/ 体系中没有该 benchmark 的页面。) |
| 截至 | 2026-11-16 |
测什么、怎么测
- 任务:给定 motif,生成固定长度支架;每题 100 个支架,经序列重设计与折叠回读判定。
- 真值:计算 oracle:折叠回读结构与输入 motif 的几何一致性。
- 主指标:MotifBench 分数(0–100)
- 次指标:唯一解数(聚类后);新颖性(对 PDB 的 TM-score);支架成功率
- 版本陷阱:数值须注明取自论文还是榜单、是否 indexed 设置、折叠器用 ESMFold 还是 AlphaFold2。
当前排名
状态:▣ 榜单
- 指标:MotifBench 分数(0–100)
- 评测集 / 口径:30 motif-scaffolding problems, official ProteinMPNN + ESMFold pipeline
- 快照日期:
- 榜单页面
当前第一:RFD4-Proteina (indexed + medium thinking),55.06 (± 1.35)(MotifBench 分数(0–100);30 motif-scaffolding problems, official ProteinMPNN + ESMFold pipeline;榜单;)
本站最佳:RFdiffusion3 (indexed)(第 2 名)
说明:名次按榜单表格顺序(按分数排序,15 条);条目由提交方自跑,非独立复跑。榜首非本站模型。
| 模型 | 名次 | 数值 | 指标 | 评测集 / 口径 | 来源类型 | 日期 | 出处 | 说明 |
|---|---|---|---|---|---|---|---|---|
| RFD4-Proteina (indexed + medium thinking)(非本站模型) | 1 | 55.06 (± 1.35) | MotifBench 分数(0–100) | 30 motif-scaffolding problems, official ProteinMPNN + ESMFold pipeline | 榜单 | †(未核实) | 出处 | 非本站模型;总榜第一。 |
| RFdiffusion3 (indexed) | 2 | 43.52 (± 1.35) | MotifBench 分数(0–100) | 30 motif-scaffolding problems, official ProteinMPNN + ESMFold pipeline | 榜单 | †(未核实) | 出处 | 提交方自跑条目;本站模型中最高。 |
| La-Proteina | 5 | 29.75 (± 0.51) | MotifBench 分数(0–100) | 30 motif-scaffolding problems, official ProteinMPNN + ESMFold pipeline | 榜单 | †(未核实) | 出处 | 由另一生成模型团队提交。 |
| ESM3 | 15 | 11.38 | MotifBench 分数(0–100) | 30 motif-scaffolding problems, official ProteinMPNN + ESMFold pipeline | 榜单 | †(未核实) | 出处 | 15 条中的末位。 |
排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。
报告过的模型
按关系类型分组;计数口径见配对矩阵。3 个计入(榜 3)。
官方参赛 / 官方榜单(3)
- ESM3:(榜单,置信度高;出处)
- La-Proteina:官方榜单已收录本模型;中文模型页"未检出条目"是错的,必须修(榜单,置信度高;出处)
- RFdiffusion2/3:RFD3 是该榜的正式条目;中文模型页原写「未检出条目」是错的,本记录按榜单口径更正,不引数值(榜单,置信度高;出处)
提及但不构成配对
- Proteina-Complexa:Proteina-Complexa 的方法论文未提及本题库,早期候选名单有误。(出处)
局限与注意
- 分数只反映计算自洽,不代表可表达、可折叠或有功能。
- 重复评测的标准差约 0.39–0.47,作者认为差距小于约 1 分不可靠。
- 论文与榜单给出的 RFdiffusion 基线不同(28.05 对 21.95),引用须写口径。
- 换用不带 MSA 的 AlphaFold2 折叠回读,基线分数由 28.1 降到 22.5。
- 30 题中仅 20 题的实验参考支架能通过本评估,指向评估自身的局限。
新模型怎么用
从仓库取 30 道题与官方流水线,每题生成 100 个固定长度支架,用官方脚本评估后提交榜单;约需 36 GPU 小时。报告时写明论文版还是榜单版口径、是否 indexed、折叠器选择与重复次数;差距小于约 1 分不足以下结论。设计要证明可做出来,仍须自补表达与测定。
搭配:Adaptyv competitions / BenchBB · FoldBench · AIntibody
来源
- MotifBench 论文 arXiv 2502.12479(预印本),
- 论文 v2 全文(预印本)
- 官方仓库与排行榜(榜单),
更正记录
以下为本轮核对中改过的字段,原值按记录照录。
| 字段 | 原 | 现 | 原因 | 出处 | 发现日期 |
|---|---|---|---|---|---|
| models_reported | RFdiffusion3 and La-Proteina: Chinese model pages state no MotifBench entry was found | both are official-participation entries on the MotifBench board (43.52 and 29.75) | 榜单明确列出两条条目,模型页的否定表述有误(变更集 4.1)。 | 依据 | 2026-11-16 |
| models_reported | Proteina-Complexa counted as a MotifBench pairing | recorded as not-a-pairing: the method paper never mentions the benchmark | 变更集 4.1 的裁定:方法论文未提及本题库。 | 依据 | 2026-11-16 |
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。