43 Ginkgo GDPa1
246 个临床抗体的统一 assay 可开发性数据,加 80 个私有留出抗体的一次性盲测。留出盲测的关键负面结论:交叉验证相关性系统性高于留出集相关性。
bench-43 · 类型 A+B · 证据 L4 · 抗体 · 补充收录 · 截至 2026-11-16
概况
| 字段 | 内容 |
|---|---|
| 名称 / 别名 | Ginkgo GDPa1;全称:GDPa1 抗体可开发性数据集与 AbDev 竞赛;别名:GDPa1、AbDev competition;有歧义、不自动链接:AbDev |
| 家族 | 否(单一数据集加一次性竞赛,无家族成员。) |
| 领域 | 抗体(次领域:蛋白) |
| 类型 | A+B:A 周期盲测挑战,每届新题新真值;B 静态数据集套件。公开数据集加私有留出盲测 |
| 证据层级 | L4:隐藏真值盲测,但留出抗体是既有临床抗体,非前瞻合成 |
| 发布方 | Ginkgo Datapoints、Ginkgo Bioworks、Hugging Face(平台公司) |
| 首次发布 | †(未核实)(依据:公开数据集与竞赛的官方公告(2025-09-08);HF 数据集对象创建日 2025-06-13 为受限对象,不作首发) 日级仍只依赖公告页,留未核实标记。 |
| 其他里程碑 | 最早公开证据 †(未核实)(数据集对象创建日(受限访问),仅作注,不得显示为发布);期刊上线 (结果论文期刊在线(mAbs 18(1)));官方公告 †(未核实)(竞赛与公开数据集公告) |
| 最近更新 | †(未核实),数据发布:数据集卡片更新到 v1.4;此前:结果论文 2026-02-22,竞赛 2025-11-18 结束。(数据集受限,changelog 不可读,v1.4 标注沿用既有记录。)。此为最近一次有出处的事件,不代表此后没有更新 |
| 下一次预期 | 无公告(组织方未公告下一轮竞赛日期。) |
| 规模 | 公开 246 个临床抗体、10 项 assay;私有留出 80 个抗体;预测 5 个性质;113 支队伍。 明细:公开抗体数(dataset card) 246;assay 项数(dataset card) 10;私有留出抗体数(results paper abstract) 80;竞赛预测性质数(competition 2025) 5;参赛队伍数(results paper abstract) 113 |
| 状态 | ◐ 低频:低频:竞赛已结束(2025-09-08 至 2025-11-18),公开榜单仍在运行,数据集 v1.4。 |
| wet lab 更新 | 新:留出的 80 个抗体为竞赛专门测定,一次性;非常设轮次。 |
| 需自补 wet lab | 不需要 |
| 报告模型数 | 0 个计入 |
| 当前排名 | ▣ 榜单(见当前排名) |
| 全站实体页 | 无(全站 /entities/ 体系中没有该 benchmark 的页面。) |
| 截至 | 2026-11-16 |
测什么、怎么测
- 任务:由序列预测五项可开发性性质,在 80 个私有留出抗体上评分。
- 真值:同一实验室统一 assay 的实验测量值(疏水性、多反应性、自聚集、热稳定性、表达量)。
- 主指标:各性质的 Spearman 相关系数
- 次指标:分性质奖项名次
- 版本陷阱:须区分 GDPa1 交叉验证与竞赛私有留出两种口径,论文已显示两者系统性不同。
当前排名
状态:▣ 榜单
- 指标:私有留出集上各性质的 Spearman 相关系数
- 评测集 / 口径:AbDev competition 2025, 80 private held-out antibodies, 5 properties
- 快照日期:
- 榜单页面
当前第一:Anonymous,0.708(私有留出集上各性质的 Spearman 相关系数;AbDev competition 2025, 80 private held-out antibodies, 5 properties;榜单;)
说明:竞赛 2025-11-18 结束,名次取自结果论文;榜单 Space 2026-11-16 报错未加载;获奖者中无本站模型。
| 模型 | 名次 | 数值 | 指标 | 评测集 / 口径 | 来源类型 | 日期 | 出处 | 说明 |
|---|---|---|---|---|---|---|---|---|
| Anonymous(非本站模型) | 1 | 0.708 | 私有留出集上各性质的 Spearman 相关系数 | AbDev competition 2025, 80 private held-out antibodies, 5 properties | 榜单 | 出处 | 非本站模型;疏水性(HIC)第一。 | |
| microcrisprtm2(非本站模型) | 1 | 0.392 | 私有留出集上各性质的 Spearman 相关系数 | AbDev competition 2025, 80 private held-out antibodies, 5 properties | 榜单 | 出处 | 非本站模型;热稳定性(Tm2)第一。 | |
| PR_CHO_NOV(非本站模型) | 1 | 不显示†(未核实) | 私有留出集上各性质的 Spearman 相关系数 | AbDev competition 2025, 80 private held-out antibodies, 5 properties | 榜单 | 出处 | 非本站模型;多反应性第一(摘要 0.356,正文 0.337,两处与自聚集互换)。 | |
| AbDevelop(非本站模型) | 1 | 不显示†(未核实) | 私有留出集上各性质的 Spearman 相关系数 | AbDev competition 2025, 80 private held-out antibodies, 5 properties | 榜单 | 出处 | 非本站模型;自聚集第一(摘要 0.337,正文 0.356)。 | |
| meta2(非本站模型) | 1 | 0.310 | 私有留出集上各性质的 Spearman 相关系数 | AbDev competition 2025, 80 private held-out antibodies, 5 properties | 榜单 | 出处 | 非本站模型;表达量第一。 |
排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。
报告过的模型
按关系类型分组;计数口径见配对矩阵。0 个计入。
暂无模型与本 benchmark 构成配对。
局限与注意
- 留出盲测的关键负面结论:交叉验证相关性系统性高于留出集相关性。
- 仅 246 个训练与 80 个测试抗体,且均为临床阶段,对早期或设计抗体的外推未经检验。
- 一次性竞赛:留出集结束后即暴露,后续只能比较交叉验证分数。
- 获胜方法按性质不同,没有通吃的架构。
- 非前瞻合成测试;留出抗体是既有临床抗体。
新模型怎么用
从数据平台申请 GDPa1(需同意条款),按推荐的分层交叉验证切分,分五个性质分别报 Spearman。私有留出集已用于竞赛,不能再提交;要做真正盲测须自行在相同 assay 上测新抗体或加入相关联盟。引用须写明是交叉验证还是竞赛留出。
搭配:AbBiBench · FLAb / FLAb2 · AIntibody · Polaris / ASAP / OpenADMET
来源
- 竞赛与数据集公告(官方网站),
- 竞赛结果论文(mAbs 18(1))(期刊),
- GDPa1 数据集卡片(受限)(官方网站),
- 公开排行榜(榜单)
更正记录
以下为本轮核对中改过的字段,原值按记录照录。
| 字段 | 原 | 现 | 原因 | 出处 | 发现日期 |
|---|---|---|---|---|---|
| first_release | 2025-06-13 (dataset on HF); competition announced 2025-09-08 | 2025-09-08 | 2025-06-13 只是受限数据集对象的创建日,不能支撑公开发布的日级精度;可证的公开事件是竞赛与数据公告。 | 依据 | 2026-11-16 |
| first_release_basis | HF blog/competition launch with public GDPa1 data (HF repo object created 2025-06-13, likely private/gated earlier) | official announcement of the public GDPa1 dataset and AbDev competition, 2025-09-08. HF dataset object created 2025-06-13 (creation date, gated, not displayed as release). | 依据重新对齐,仓库创建日降为注。 | 依据 | 2026-11-16 |
| first_release | 2025-09-08 | 2025-06-13 (dataset on HF); competition announced 2025-09-08 | 这是上一轮的改动(把首发改到数据集对象创建日),本轮已推翻:创建日不得作首发。 | 依据 | 2026-11-16 |
| scale | 246 public antibodies, 10 assays; 80 private holdout; 113 teams (presented as fully verified) | same figures, but 246/10 are verified on the dataset card while 80 and 113 come from the results paper abstract | 湿实验核对结果为 partial,须标明各数字的出处。 | 依据 | 2026-11-16 |
| ranking.entries | polyreactivity 0.337 and self-association 0.356 | polyreactivity 0.356 and self-association 0.337 per the abstract; the Results section swaps the two | 论文摘要与正文互换了这两项,按摘要记录并注明不一致。 | 依据 | 2026-11-16 |
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。