15 CAMEO
每周用 PDB 预发布序列对结构预测服务器做的滚动盲测。各论文取的时间窗不同,数字不可互比;难度分档随服务器变强而漂移,无置信区间,新工具也难以作服务器参赛
bench-15 · 类型 A · 证据 L4 · 结构/共折叠 · 核心 30 项 · 截至 2026-11-16
概况
| 字段 | 内容 |
|---|---|
| 名称 / 别名 | CAMEO;全称:持续自动化模型评估;别名:CAMEO3D、cameo3d.org;有歧义、不自动链接:CAMEO 2022 |
| 家族 | 否(单一滚动评测服务;论文自取的静态 CAMEO 子集不是家族成员。) |
| 领域 | 结构/共折叠 |
| 类型 | A:A 周期盲测挑战,每届新题新真值。每周自动化滚动盲测,无人工评审 |
| 证据层级 | L4 |
| 发布方 | SIB Swiss Institute of Bioinformatics、University of Basel, Biozentrum(学术实验室) |
| 首次发布 | †(未核实)(依据:CAMEO 维护方论文称自 2012 年起每周持续评测;首批目标月份未找到) 仅年份有据;档案周数推算约 2012 年初,未核实 |
| 其他里程碑 | 最早公开证据 †(未核实)(CAMEO 维护方论文称自 2012 年起每周持续评测;首批目标月份未找到) |
| 最近更新 | 未检出发布后更新(截至 2026-11-16)†(未核实):未检出发布后更新(截至 2026-11-16):官网无新闻或更新日志,每周目标档案也无带日期的发布(2026-10-17 仅为 Wayback 快照日,不是更新日)。此为最近一次有出处的事件,不代表此后没有更新 |
| 下一次预期 | 无公告(每周滚动运行,没有另行公告的下一事件。) |
| 规模 | 2024-01 至 2025-06 共 76 周选出 12,205 个目标,约 160 个/周 明细:筛查的新 PDB 条目(2024-01-06 to 2025-06-14) 23,629;选为目标(2024-01-06 to 2025-06-14) 12,205;目标分档 medium / hard / ligand(2024-01-06 to 2025-06-14) 2,106 / 3,266 / 6,833;周数(2024-01-06 to 2025-06-14) 76;每周目标(自行换算) ~160 |
| 状态 | ● 活跃:活跃但收缩;单链 3D 赛道 2025-04 结束(未核实) |
| wet lab 更新 | 新:每周;真值为新发布的 PDB 结构,约 160 个/周,不是为本评测专门测定 |
| 需自补 wet lab | 不需要 |
| 报告模型数 | 4 个计入(榜 1 · 赛后复用 3);另 1 条不计入(未证实 1) |
| 当前排名 | ◌ 第三方(见当前排名) |
| 全站实体页 | 无(全站 /entities/ 体系中没有该 benchmark 的页面。) |
| 截至 | 2026-11-16 |
测什么、怎么测
- 任务:每周用 PDB 预发布序列盲评结构预测服务器,现以复合物与配体赛道为主
- 真值:随后发布的 PDB 实验结构(X-ray、NMR、EM,分辨率 ≤4.0 Å)
- 主指标:lDDT 家族(iLDDT、oligo-lDDT)
- 次指标:QS-score;DockQ;lDDT-PLI(配体)
- 版本陷阱:各论文取不同时间窗口与过滤规则,须写明窗口;论文自取的静态 CAMEO 2022 子集不是在线服务评测
当前排名
状态:◌ 第三方
- 指标:lDDT / 配体成功率(CAMEO 复合物与配体赛道)
- 评测集 / 口径:Mixed windows: CAMEO 2024-01-06 to 2025-06-14 (AF3 baseline run by CAMEO); CAMEO 2022-04 to 2022-06 static set (xTrimoPGLM)
- 快照日期:(旧:早于截至日 12 个月以上)
- 榜单页面
排名行不显示分数:无头条数字:排名来源没有第一名条目(各条目均未排名或口径各异),改显示说明文字。
说明:官网动态渲染服务器结果,无可抓取的文本榜单;单链 3D 赛道 2025-04 关闭(本站笔记);各条目时间窗不同,互不可比
| 模型 | 名次 | 数值 | 指标 | 评测集 / 口径 | 来源类型 | 日期 | 出处 | 说明 |
|---|---|---|---|---|---|---|---|---|
| AlphaFold 3 (CAMEO baseline) | — | drug-like ligand success rate ~40%; antibody median LDDT 0.81 | lDDT / 配体成功率(CAMEO 复合物与配体赛道) | CAMEO 2024-01-06 to 2025-06-14 (76 weeks), AF3 v3.0.1 run by CAMEO as baseline | 第三方 | 出处 | CAMEO 评估论文(Proteins 2025);多数配体类别中为最佳基线;寡聚体上不及能预测化学计量的服务器;论文窗口终点前后不一 | |
| xTrimoPGLM-Fold | — | 不显示†(未核实) | TM-score / GDT_TS | CAMEO 2022-04 to 2022-06 static set (n=194) | 自报(二手) | 出处 | 开发方自报,静态子集;来自本站笔记,未复核 | |
| Profluent-E1 | — | 不显示:出处不全 | 长程接触精度 | CAMEO targets (window not stated in README) | 自报 | 出处 | 仅以曲线图展示,无数值 |
排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。
报告过的模型
按关系类型分组;计数口径见配对矩阵。4 个计入(榜 1 · 赛后复用 3);另 1 条不计入(未证实 1)。
官方参赛 / 官方榜单(1)
- AlphaFold 3:由运营方自跑作基线,不是开发方提交(榜单,置信度中,未核实†;出处)
赛后数据复用(3)
- DPLM-2:赛后数据复用:用的是服务方某年已发布目标集的冻结快照,无在线提交、无服务方排名,不得当作参赛(第三方,置信度高,未核实†;出处)
- Profluent-E1:事后取该连续评测的靶点做无监督接触图,只有曲线(第三方,置信度中;出处)
- xTrimoPGLM:折叠分支在 2022-04 至 06 的 194 个 CAMEO 静态目标上事后评测(自报,置信度高;出处)
未证实(1,不计数)
- Enchant v1/v2:同一来源,用的是冻结的 2022 静态集,仅有图;即便成立也应按赛后数据复用处理,而非参赛(未知,置信度低,未核实†;出处)
局限与注意
- 各论文取的时间窗不同,数字不可互比;难度分档随服务器变强而漂移,无置信区间,新工具也难以作服务器参赛
- 预发布数据无化学计量信息,同源寡聚体与单体无法区分,影响复合物评测
- AlphaFold 3 等工具有使用限制、难以自动批量提交(二手报告),CAMEO 因此自行运行其作基线
- 真值是结构而非功能或亲和力;lDDT 提升与药物发现命中率的关系无直接证据
新模型怎么用
无需湿实验。注册为服务器(自动接收目标、按时返回模型),或离线回放同期 PDB 新结构并用 OpenStructure 评分;训练截止须早于窗口,并写明窗口与过滤规则。不宜作单一 SOTA 依据;可搭配 CASP、PoseBusters 与 PLINDER。
搭配:CASP · PoseBusters · PLINDER / PINDER / Runs N' Poses · FoldBench
来源
- CAMEO 官网(官方网站)
- CAMEO 评估论文,Proteins 2025(超越单链)(期刊)
- CAMEO 维护方论文(Proteins)(期刊)
- CAMEO 2018 论文(PubMed)(期刊)
- xTrimoPGLM 论文(开发方)(预印本)
- cameo3d.org 存档快照(2026-10-17)(存档)
更正记录
以下为本轮核对中改过的字段,原值按记录照录。
| 字段 | 原 | 现 | 原因 | 出处 | 发现日期 |
|---|---|---|---|---|---|
| first_release | 2012 | 2012 | 维护方论文称自 2012 年起每周持续评测;年份已有出处,月日仍无出处,不予编造。 | 依据 | 2026-11-16 |
| latest_update | 2026-10-17 | — | 2026-10-17 只是 Wayback 快照日,不是更新日;官网无带日期的新闻或更新日志。 | 依据 | 2026-11-16 |
| latest_update_desc | Wayback snapshot of cameo3d.org shows weekly benchmarking live; no dated news/changes retrievable, last substantive change undatable. | No dated update found: cameo3d.org carries no news or changelog and the weekly target archive gives no dated release. Must display as unverified. | 说明与已删除的日期同步。 | 依据 | 2026-11-16 |
| latest_update_kind | code-maintenance-only | none-since-release | 无可证事件;kind 渲染为'未检出发布后更新'。 | 依据 | 2026-11-16 |
| models_reported (DPLM-2) | No explained relation on the site | retrospective-dataset-use | 变更集 §4.1:DPLM-2 使用冻结的 2022 目标集,裁为赛后数据复用,与 Nesso-1×CASP16 同规则。 | 依据 | 2026-11-16 |
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。