Runs N' Poses
约 2,600 个训练截止后体系,量化共折叠模型的记忆效应
内容与规模
用 2021-09-30 之后发布的约 2,600 个蛋白-配体体系,评测 AlphaFold3、Chai-1、Protenix、Boltz-1 等共折叠模型 [1]。
真值来源与是否盲测
真值为训练截止后公开的实验结构,按时间切分,再按与训练集的相似度分层;属回顾式,但对被测模型而言是"未见过"的数据。
谁用它发布结果、运营方角色
由学术团队(欧洲)作为第三方独立评测发布,不是被测模型的开发方 [1]。
泄漏与缺陷
核心发现:模型性能随与训练集相似度下降而下降,强结果中有相当部分是对相似体系的记忆而非泛化;追加发现是物理对接工具(Attracting Cavities、Vina)在新配体、新口袋上优于共折叠模型 [2]。见 数据泄漏(训练-测试泄漏)。局限:时间切分之外的相似度分层依赖相似度度量选择;各模型训练截止日不同,需逐模型核对。
来源
相关卡片
数据泄漏(训练-测试泄漏)概念与方法
基准分数被高估的首要原因:测试样本与训练集近重复
DockGen数据集 · 美国
按 ECOD 域切分的分子对接泛化基准
PLINDER数据集 · 欧洲
44.9 万蛋白-配体体系及基于相似度的防泄漏切分
PoseBusters数据集 · 英国
物理合理性检查包加 428/308 复合物对接基准
AlphaFold3论文与基准 · 英国
PDB 截止 2021-09-30,权重限非营利,输出禁训同类模型
Boltz-2论文与基准 · 美国
亲和力全用公共库,MD 加二级蒸馏,MIT 许可
Chai-1论文与基准 · 美国
Apache 2.0 含商用的共折叠模型,训练数据明细未取到 ⚠️ ⚠️
卡片整理 2026-10-15。公司自报数据标“公司口径”;⚠️ 为未经独立核实。