Runs N' Poses

数据集欧洲基准

约 2,600 个训练截止后体系,量化共折叠模型的记忆效应

内容与规模

用 2021-09-30 之后发布的约 2,600 个蛋白-配体体系,评测 AlphaFold3、Chai-1、Protenix、Boltz-1 等共折叠模型 [1]。

真值来源与是否盲测

真值为训练截止后公开的实验结构,按时间切分,再按与训练集的相似度分层;属回顾式,但对被测模型而言是"未见过"的数据。

谁用它发布结果、运营方角色

由学术团队(欧洲)作为第三方独立评测发布,不是被测模型的开发方 [1]。

泄漏与缺陷

核心发现:模型性能随与训练集相似度下降而下降,强结果中有相当部分是对相似体系的记忆而非泛化;追加发现是物理对接工具(Attracting Cavities、Vina)在新配体、新口袋上优于共折叠模型 [2]。见 数据泄漏(训练-测试泄漏)。局限:时间切分之外的相似度分层依赖相似度度量选择;各模型训练截止日不同,需逐模型核对。

来源

  1. https://www.biorxiv.org/content/10.1101/2025.02.03.636309.full.pdf (2026-10-15)
  2. https://www.biorxiv.org/content/10.64898/2025.12.09.693161.full.pdf (2026-10-15)

卡片整理 2026-10-15。公司自报数据标“公司口径”;⚠️ 为未经独立核实。