模型与 Benchmark板块首页
总览
AI for Bio benchmark 总览模型 × benchmark 配对矩阵训练数据从哪来:公开库、私有授权、自产 wet lab 与…模型索引:112 个模型按领域分组44 个 benchmark 的规模、更新与 wet la…
Benchmark 档案:核心 30 项
01 CASP02 ProteinGym03 MoleculeNet04 TDC05 PoseBusters06 CASF-201607 USPTO family08 Basenji/Enformer test set09 scIB10 GuacaMol11 ClinVar hold-out protocol12 DUD-E / LIT-PCBA13 CAGI14 PubMedQA15 CAMEO16 GUE + Nucleotide Transform…17 CAFA18 LAB-Bench / LABBench219 PMO20 CACHE21 DREAM5 / BEELINE / CausalB…22 CAPRI23 BioASQ24 虚拟细胞挑战赛与扰动预测评测25 RNA-Puzzles26 FLIP / FLIP227 Polaris / ASAP / OpenADMET28 Adaptyv competitions / Ben…29 BixBench30 PLINDER / PINDER / Runs N'…
Benchmark 档案:补充 14 项
31 FoldBench32 CrossDocked202033 PoseX34 AbBiBench35 FLAb / FLAb236 AIntibody37 TraitGym38 BEND39 RNAGym40 MotifBench41 BioML-bench42 BioMysteryBench43 Ginkgo GDPa144 FS-Mol
模型:结构/共折叠
AF2-Multimer:Google DeepMindAlphaFold 3BioEmu-2Boltz-1 / Boltz-1xBoltz-2:MIT、Recursion、Boltz P…Chai-1:Chai DiscoveryChai-2:Chai DiscoveryDiffDock:MIT CSAILESMFold2HelixFold-S1:BaiduIntelliFold-2:IntelliGen AIIsoDDE:Isomorphic LabsMassiveFoldNeuralPLexer3OpenComplex2OpenDDE:Aureka AI Research、Au…OpenFold3Pearl:Genesis Molecular AIProtenixRF3:University of Washington …RhoFold+ / DRfold2 / trRosett…RNAPro:NVIDIA、Stanford Univer…SeedFold:ByteDance SeedVina:Scripps Research
模型:小分子
ADMET-AIAQAffinity:SandboxAQBeacon:Inductive BioChemformer:AstraZenecaChemprop v2:MITEnchant v1 / v2ether0:FutureHouseKERMT:Merck & Co.、NVIDIAMiniMol:Valence LabsMolE:RecursionMoLFormer-XL:IBM ResearchNesso-1:Valence Labs、Recursio…ReaSyn v2:NVIDIA、KAISTREINVENT 4RetroDFM-RSaturn:EPFLTamGen:Microsoft Research AI …TerraBind:Terray TherapeuticsTxGemma:Google DeepMind、Googl…Uni-Mol2Uni-Mol3
模型:蛋白
AlphaProteoAMPLIFY:Mila、Polytechnique Mo…BindCraftBoltzGenChai-3:Chai DiscoveryClaude 蛋白设计研究DPLM-2:ByteDance Research、Nan…Dyno Psi-1 / Psi-PhiESM C:Evolutionary Scale、Chan…ESM3:Evolutionary Scale、Chan …EVOLVEproLa-Proteina:NVIDIALatent-X / X2:Latent LabsLucaOne:Alibaba Cloud、Sun Yat…Mosaic:Escalante BioPinal:Westlake UniversityPoET-2:OpenProtein.AIProfluent-E1:ProfluentProGen3:ProfluentProSST:Shanghai Jiao Tong Uni…Proteina-Complexa:NVIDIARFdiffusion2 / 3SaProt:Westlake University、We…SeedProteo:ByteDance SeedVenusREMxTrimoPGLM
模型:抗体
GerminalHCAbLM:Nona Biosciences、HBM H…IgGM / IgGM-FMJAM / JAM-2:Nabla BioOrigin-1:AbsciRFantibodytFold:Tencent AI for Life Sci…
模型:基因组/RNA
AlphaGenome:Google DeepMindAlphaMissense:Google DeepMindBioReasonBorzoi:Calico Life SciencesBulkFormerEvo 2:Arc Institute、NVIDIA、St…NTv3:InstaDeeppopEVE:Harvard Medical School…RIBOSPAN
模型:单细胞
AIDO Cell:GenBio AIC2S-ScaleCellFM:Sun Yat-sen University…Lingshu-CellscGPT / GeneformerscPRINT-2Stack:Arc InstituteSTATE:Arc InstituteTahoe-x1:Tahoe TherapeuticsTranscriptFormerX-Cell:Xaira TherapeuticsxTrimoSCPerturb / scFoundation
模型:分子生成
GenMol:NVIDIA
模型:文本与 agent
Biomni:Stanford University、Ph…Co-ScientistGPT-Rosalind:OpenAIIntern-SKosmos / Edison AnalysisMedGemma / Med-GeminiQuine:Microsoft ResearchRobin:FutureHouseSciReasonerTxAgent:Harvard Medical SchoolVERID:Google Research前沿通用大模型:Anthropic、OpenAI、Goog…

15 CAMEO

整理 2026-11-16 · 来源与可靠度标注见正文
本文目录
  1. 概况
  2. 测什么、怎么测
  3. 当前排名
  4. 报告过的模型
  5. 局限与注意
  6. 新模型怎么用
  7. 来源
  8. 更正记录

每周用 PDB 预发布序列对结构预测服务器做的滚动盲测。各论文取的时间窗不同,数字不可互比;难度分档随服务器变强而漂移,无置信区间,新工具也难以作服务器参赛

bench-15 · 类型 A · 证据 L4 · 结构/共折叠 · 核心 30 项 · 截至 2026-11-16

概况

字段 内容
名称 / 别名 CAMEO;全称:持续自动化模型评估;别名:CAMEO3D、cameo3d.org;有歧义、不自动链接:CAMEO 2022
家族 否(单一滚动评测服务;论文自取的静态 CAMEO 子集不是家族成员。)
领域 结构/共折叠
类型 A:A 周期盲测挑战,每届新题新真值。每周自动化滚动盲测,无人工评审
证据层级 L4
发布方 SIB Swiss Institute of Bioinformatics、University of Basel, Biozentrum(学术实验室)
首次发布 †(未核实)(依据:CAMEO 维护方论文称自 2012 年起每周持续评测;首批目标月份未找到) 仅年份有据;档案周数推算约 2012 年初,未核实
其他里程碑 最早公开证据 †(未核实)(CAMEO 维护方论文称自 2012 年起每周持续评测;首批目标月份未找到)
最近更新 未检出发布后更新(截至 2026-11-16)†(未核实):未检出发布后更新(截至 2026-11-16):官网无新闻或更新日志,每周目标档案也无带日期的发布(2026-10-17 仅为 Wayback 快照日,不是更新日)。此为最近一次有出处的事件,不代表此后没有更新
下一次预期 无公告(每周滚动运行,没有另行公告的下一事件。)
规模 2024-01 至 2025-06 共 76 周选出 12,205 个目标,约 160 个/周 明细:筛查的新 PDB 条目(2024-01-06 to 2025-06-14) 23,629;选为目标(2024-01-06 to 2025-06-14) 12,205;目标分档 medium / hard / ligand(2024-01-06 to 2025-06-14) 2,106 / 3,266 / 6,833;周数(2024-01-06 to 2025-06-14) 76;每周目标(自行换算) ~160
状态 ● 活跃:活跃但收缩;单链 3D 赛道 2025-04 结束(未核实)
wet lab 更新 新:每周;真值为新发布的 PDB 结构,约 160 个/周,不是为本评测专门测定
需自补 wet lab 不需要
报告模型数 4 个计入(榜 1 · 赛后复用 3);另 1 条不计入(未证实 1)
当前排名 ◌ 第三方(见当前排名)
全站实体页 无(全站 /entities/ 体系中没有该 benchmark 的页面。)
截至 2026-11-16

测什么、怎么测

  • 任务:每周用 PDB 预发布序列盲评结构预测服务器,现以复合物与配体赛道为主
  • 真值:随后发布的 PDB 实验结构(X-ray、NMR、EM,分辨率 ≤4.0 Å)
  • 主指标:lDDT 家族(iLDDT、oligo-lDDT)
  • 次指标:QS-score;DockQ;lDDT-PLI(配体)
  • 版本陷阱:各论文取不同时间窗口与过滤规则,须写明窗口;论文自取的静态 CAMEO 2022 子集不是在线服务评测

当前排名

状态:◌ 第三方

  • 指标:lDDT / 配体成功率(CAMEO 复合物与配体赛道)
  • 评测集 / 口径:Mixed windows: CAMEO 2024-01-06 to 2025-06-14 (AF3 baseline run by CAMEO); CAMEO 2022-04 to 2022-06 static set (xTrimoPGLM)
  • 快照日期:(旧:早于截至日 12 个月以上)
  • 榜单页面

排名行不显示分数:无头条数字:排名来源没有第一名条目(各条目均未排名或口径各异),改显示说明文字。

说明:官网动态渲染服务器结果,无可抓取的文本榜单;单链 3D 赛道 2025-04 关闭(本站笔记);各条目时间窗不同,互不可比

模型 名次 数值 指标 评测集 / 口径 来源类型 日期 出处 说明
AlphaFold 3 (CAMEO baseline) — drug-like ligand success rate ~40%; antibody median LDDT 0.81 lDDT / 配体成功率(CAMEO 复合物与配体赛道) CAMEO 2024-01-06 to 2025-06-14 (76 weeks), AF3 v3.0.1 run by CAMEO as baseline 第三方 出处 CAMEO 评估论文(Proteins 2025);多数配体类别中为最佳基线;寡聚体上不及能预测化学计量的服务器;论文窗口终点前后不一
xTrimoPGLM-Fold — 不显示†(未核实) TM-score / GDT_TS CAMEO 2022-04 to 2022-06 static set (n=194) 自报(二手) 出处 开发方自报,静态子集;来自本站笔记,未复核
Profluent-E1 — 不显示:出处不全 长程接触精度 CAMEO targets (window not stated in README) 自报 出处 仅以曲线图展示,无数值

排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。

报告过的模型

按关系类型分组;计数口径见配对矩阵。4 个计入(榜 1 · 赛后复用 3);另 1 条不计入(未证实 1)。

官方参赛 / 官方榜单(1)

  • AlphaFold 3:由运营方自跑作基线,不是开发方提交(榜单,置信度中,未核实†;出处)

赛后数据复用(3)

  • DPLM-2:赛后数据复用:用的是服务方某年已发布目标集的冻结快照,无在线提交、无服务方排名,不得当作参赛(第三方,置信度高,未核实†;出处)
  • Profluent-E1:事后取该连续评测的靶点做无监督接触图,只有曲线(第三方,置信度中;出处)
  • xTrimoPGLM:折叠分支在 2022-04 至 06 的 194 个 CAMEO 静态目标上事后评测(自报,置信度高;出处)

未证实(1,不计数)

  • Enchant v1/v2:同一来源,用的是冻结的 2022 静态集,仅有图;即便成立也应按赛后数据复用处理,而非参赛(未知,置信度低,未核实†;出处)

局限与注意

  1. 各论文取的时间窗不同,数字不可互比;难度分档随服务器变强而漂移,无置信区间,新工具也难以作服务器参赛
  2. 预发布数据无化学计量信息,同源寡聚体与单体无法区分,影响复合物评测
  3. AlphaFold 3 等工具有使用限制、难以自动批量提交(二手报告),CAMEO 因此自行运行其作基线
  4. 真值是结构而非功能或亲和力;lDDT 提升与药物发现命中率的关系无直接证据

新模型怎么用

无需湿实验。注册为服务器(自动接收目标、按时返回模型),或离线回放同期 PDB 新结构并用 OpenStructure 评分;训练截止须早于窗口,并写明窗口与过滤规则。不宜作单一 SOTA 依据;可搭配 CASP、PoseBusters 与 PLINDER。

搭配:CASP · PoseBusters · PLINDER / PINDER / Runs N' Poses · FoldBench

来源

  1. CAMEO 官网(官方网站)
  2. CAMEO 评估论文,Proteins 2025(超越单链)(期刊)
  3. CAMEO 维护方论文(Proteins)(期刊)
  4. CAMEO 2018 论文(PubMed)(期刊)
  5. xTrimoPGLM 论文(开发方)(预印本)
  6. cameo3d.org 存档快照(2026-10-17)(存档)

更正记录

以下为本轮核对中改过的字段,原值按记录照录。

字段 原 现 原因 出处 发现日期
first_release 2012 2012 维护方论文称自 2012 年起每周持续评测;年份已有出处,月日仍无出处,不予编造。 依据 2026-11-16
latest_update 2026-10-17 — 2026-10-17 只是 Wayback 快照日,不是更新日;官网无带日期的新闻或更新日志。 依据 2026-11-16
latest_update_desc Wayback snapshot of cameo3d.org shows weekly benchmarking live; no dated news/changes retrievable, last substantive change undatable. No dated update found: cameo3d.org carries no news or changelog and the weekly target archive gives no dated release. Must display as unverified. 说明与已删除的日期同步。 依据 2026-11-16
latest_update_kind code-maintenance-only none-since-release 无可证事件;kind 渲染为'未检出发布后更新'。 依据 2026-11-16
models_reported (DPLM-2) No explained relation on the site retrospective-dataset-use 变更集 §4.1:DPLM-2 使用冻结的 2022 目标集,裁为赛后数据复用,与 Nesso-1×CASP16 同规则。 依据 2026-11-16

本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。