公共数据库与文献沉淀
本章是 AI4S 数据金字塔的最上游:免费或低成本、体量最大,但带有系统性偏差,且几乎不含"私有真值"。数字标 [n],对应文末来源;标"API 实测"者为 2026-10-15 直接调用官方 REST / E-utilities 所得的一手口径。
一句话结论
- 主流结构、序列、单细胞模型的训练底座几乎全是免费公共库。 AlphaFold2 用 Protein Data Bank (wwPDB)(截至 2018-04-30)加 UniRef90 / BFD / Uniclust30 / MGnify 做 MSA,并以 355,993 条 Uniclust30 序列自蒸馏,最终训练约 75% 样本来自蒸馏集、约 25% 来自 PDB(二手转述)[1];Evo 2 的 OpenGenome2 约 8.84 万亿核苷酸,Apache 2.0 [2][3]。底座免费,"拥有公共数据"本身不构成壁垒。
- PDB 共 261,301 条,年增约 1.76 万条,cryo-EM 增速最快。 API 实测累计 X 射线 208,179(79.7%)、EM 37,313(14.3%)、NMR 14,746(5.6%);EM 占当年新发布的比例 2019 年 12.4%、2023 年 31.5%、2025 年 40.9% [4]。
- 序列库已到无法人工标注的量级。 UniProt 2026_03 中 Swiss-Prot(人工审阅)575,748 条,TrEMBL(自动注释)149,430,635 条,人工占比约 0.4% [6];AlphaFold Protein Structure Database 约 2.41 亿(v6)预测结构 [7];ESM Metagenomic Atlas 逾 6.17 亿条宏基因组预测 [8]。预测补全的是"形状",不是"功能 / 活性真值"。
- 单细胞公共数据进入亿级,但带扰动标签的配对真值仍稀缺。 CZ CELLxGENE Discover / Census Census 2025-11-08 LTS 约 2.18 亿细胞(去重约 1.25 亿)、1,845 个数据集 [9];Tahoe-100M 约 1 亿转录组、CC0 [10]。
- 受控访问型数据的壁垒是准入而非价格。 UK Biobank 三档访问费 £3,000 / £6,000 / £9,000(3 年,不含 VAT,只能在其云平台内分析)[13];中国 GSA 用户数据已超 100PB,人类遗传资源信息对外提供前须安全审查 [14][15]。
生产方式
本节写各类库的收录与维护方式:谁提交、谁策展、增长靠什么、经费从哪来。
| 类型 | 收录机制 | 代表 | 维护特征 | 经费 |
|---|---|---|---|---|
| 提交型档案 | 作者或期刊强制提交,库方做格式与生物学合理性检查 | wwPDB(Protein Data Bank (wwPDB)、Electron Microscopy Data Bank)、GEO 与 SRA、INSDC(GenBank/ENA/DDBJ)、GSA | 质量由提交者决定;规模随测序与冷冻电镜通量增长 | 公共经费(NSF / NIH / DOE / EMBL 等) |
| 人工 / 半自动策展型 | 策展人从文献、专利抽取结构化记录 | ChEMBL、BindingDB、Swiss-Prot、DrugBank、PDBbind / PDBbind+ | 贵、慢、准;ChEMBL 靠文献策展,2026-05 发布 CHEMBL37 [16];BindingDB 的增长大量来自美国专利策展 [17] | Wellcome / EMBL / NIH;DrugBank 为公司运营 |
| 自动注释 / 聚合型 | 管线自动处理或聚合多源 | TrEMBL、UniRef、MGnify、PubChem | 量大、噪声高;PubChem 聚合 1,000 余个数据源 [18] | NIH / NLM、EMBL |
| 社区 / 联盟整理型 | 联盟统一重处理与统一 schema | CZ CELLxGENE Discover / Census、Human Cell Atlas、scPerturb、DepMap | 增值在重处理而非新实验;scPerturb 整理 44 个公开扰动数据集 [19];DepMap 季度发布 [20] | CZI、Broad、NIH、联盟 |
| 受控队列型 | 参与者同意加数据访问委员会审批 | UK Biobank、GTEx 与 TCGA 个体级、GSA-Human | 访问需申请,分析在云端沙箱内 | 慈善、政府、药企 |
| 预测型"二级库" | 模型对一级库推理后落盘 | AlphaFold Protein Structure Database、ESM Metagenomic Atlas | 由 UniProt / MGnify 经算力生成,不是新实验 | DeepMind + EMBL-EBI、Meta |
关键事实:
- 结构库产出依赖仪器与人力。 PDB 每条记录来自 X 射线、冷冻电镜或 NMR 实验,库方只归档不产数据。AlphaFold DB 是第一个"算力产出的结构"库。
- 文献沉淀。 PubMed 约 4,128 万条记录(E-utilities 实测),2025 年发表日期记录约 188 万条;PMC 全文约 1,270 万篇,其中开放获取约 831 万篇 [21]。bioRxiv 2025 年全年 67,211 条记录(新稿 49,318)[22]。
- 专利。 SureChEMBL 旧口径 1,700 万化合物 / 1,400 万专利文档;2025 年改为仅发布双周批量文件并启动 AI 注释(扩展到靶点、蛋白、基因);当前总量 ⚠️ 未查到 [23]。
- MSA 底座。 AF2 用 UniRef90 v2020_01、BFD、Uniclust30 v2018_08、MGnify v2018_12 [1];AlphaFold3 同用 UniRef90、Uniclust30、MGnify、BFD,另加 Rfam 14.9、RNAcentral 21.0、NCBI nt [24]。详见 UniRef/BFD/Uniclust30/MGnify(MSA 库)。这些全是公共库的版本快照。
- 运营机构。 欧洲侧多由 EMBL-EBI 运营,美国侧多由 NCBI / NLM 运营。
厂商与渠道
公共库的"厂商"是运营机构与数据中心。下表以数据库为单位,覆盖中国、美国与全球。
| 名称 | 国家 | 类型 | 规模口径 | 用户 | 经费 | 来源 |
|---|---|---|---|---|---|---|
| 国家基因组科学数据中心 NGDC / CNCB(国家基因组科学数据中心 / CNCB) | 中国 | 提交型 + 受控(GSA、GSA-Human、OMIX 等) | GSA 用户数据 2026-02-21 突破 100PB;1,272 家机构、14,246 名用户;日下载约 20TB;镜像 INSDC 约 25PB(NGDC 自报) | 200+ 国家 / 地区,支撑 12,000+ 篇论文(自报) | 国家财政,金额未披露 | [14][25] |
| 国家微生物 / 人口健康科学数据中心 | 中国 | 国家科学数据中心 | ⚠️ 未查到,归属待复核 | ⚠️ 未查到 | ⚠️ 未查到 | — |
| PDBbind / PDBbind+(中科院上海药物所王任小组) | 中国 | 策展型亲和力集 | v2020 通用集 19,443 个复合物(二手);PDBbind+ 为订阅制(供应商口径) | 学术与工业 | ⚠️ 未查到 | [26][27] |
| Protein Data Bank (wwPDB)(wwPDB:RCSB / PDBe / PDBj / BMRB) | 美国 / 英国 / 日本 | 提交型 | 261,301 条(API 实测) | 全球结构生物学与 AI 训练 | 公共经费 | [4][28] |
| Electron Microscopy Data Bank(EMBL-EBI) | 英国 | 提交型 | 2025 年首次单年发布 >10,000 条;2026-07 页面显示 59,904 条 map | 同上 | 公共 | [5][29] |
| UniProt(EBI / SIB / PIR) | 英 / 瑞士 / 美 | 策展 + 自动 | Swiss-Prot 575,748;TrEMBL 149,430,635(2026_03) | 全球 | NIH 等 | [6] |
| AlphaFold Protein Structure Database(EMBL-EBI + Google DeepMind) | 英国 | 预测型 | 约 2.41 亿(v6;官方概览页未给精确值);2025 版与 UniProt 2025_03 同步,加入 isoform、MSA 与 >3.61 亿 TED 结构域注释 | 全球 | DeepMind + EMBL-EBI | [7][30] |
| ESM Metagenomic Atlas(Meta AI) | 美国 | 预测型 | >6.17 亿条,约 2.25 亿条高置信 | 学术与工业 | Meta | [8] |
| ChEMBL(EMBL-EBI) | 英国 | 文献策展 | CHEMBL37:去重化合物 2,921,148,活性 24,527,044,靶点 18,552,文献 101,100(API 实测) | 药企与学术 | Wellcome / EMBL 等 | [16] |
| PubChem(NCBI) | 美国 | 聚合 | 化合物 124,717,116;物质 349,884,578;生测 1,886,628(E-utilities 实测) | 全球 | NIH / NLM | [18][21] |
| BindingDB | 美国 | 策展(专利为主) | 290 万测量、130 万化合物(NAR 口径) | 学术与工业 | ⚠️ 未查到 | [17] |
| DrugBank(OMx) | 加拿大 | 策展 | v5.1.22(2026-06-27);学术下载"暂停" | 学术免费、商业付费 | 公司运营 | [31] |
| Enamine REAL Space | 乌克兰 / 美国 | 可购买按需合成空间 | 1,163 亿分子(公司页,口径日期未标);3–4 周交付、成功率 >80%(公司口径) | 药企虚拟筛选 | 私营 | [32] |
| ZINC-22(UCSF) | 美国 | 可购买分子库 | >370 亿可搜索的可购买化合物(2023 论文口径) | 学术 | NIH | [33] |
| GEO 与 SRA(NCBI) | 美国 | 提交型 | GEO Series 298,484,Samples 8,784,042;2025 年新增 Series 27,255;SRA 记录 47,200,720(实测) | 全球 | NIH | [21] |
| INSDC(GenBank/ENA/DDBJ)(GenBank / ENA / DDBJ) | 美国 / 英国 / 日本 | 提交型 | GenBank Release 273(2026-08):267,383,895 条序列 / 8.24 万亿碱基;WGS 5,132,699,813 条 / 50.8 万亿碱基 | 全球 | NIH 等 | [34] |
| MGnify(EBI) | 英国 | 聚合 | 蛋白库 >24 亿条非冗余序列(2022 论文口径);v6 于 2026 发布,新总量 ⚠️ 未查到 | 全球 | EMBL | [35] |
| CZ CELLxGENE Discover / Census(CZI,Chan Zuckerberg Biohub 体系) | 美国 | 联盟整理 | 见下节规模表 | 全球 | CZI | [9] |
| Human Cell Atlas | 国际 | 联盟整理 | (二手)2025-01 更新含 6,200 万细胞、9,100 位供者;官方页未给精确数 | 全球 | CZI 等 | [36] |
| Tahoe-100M(Tahoe Therapeutics)+ Arc Virtual Cell Atlas(Arc Institute) | 美国 | 扰动单细胞 + 统一处理公共单细胞 | Tahoe-100M:>1 亿转录组、50 癌细胞系;scBaseCount 初版 >2.3 亿细胞 / 21 物种 | 学术与工业 | 公司 / 非营利 | [10][11] |
| scPerturb | 德 / 美 | 联盟整理 | 44 个公开扰动数据集 | 学术 | ⚠️ 未查到 | [19] |
| DepMap(Broad) | 美国 | 联盟整理 | 季度发布;细胞系数 ⚠️ 未查到 | 学术与工业 | NIH / Broad / 联盟 | [20] |
| GTEx 与 TCGA | 美国 | 受控队列 | TCGA:33 种癌症、>20,000 例、>2.5PB;GDC Data Release 46.0(2026-08-10);GTEx 数字 ⚠️ 未查到 | 学术 | NIH / NCI | [37][38] |
| UK Biobank | 英国 | 受控队列 | 50 万人;WGS / WES;蛋白组试点 54,000+ 人;PPP 计划首期 300,000 样本至 600,000 样本,自 2026 起分批释放、全量 2027 | 3 万+ 研究者(自报,未核) | 慈善 + 政府 + 药企 | [13][39] |
| SureChEMBL | 英国 | 专利化学 | 旧口径 1,700 万化合物 / 1,400 万文档;当前 ⚠️ 未查到 | 学术 | EMBL | [23] |
应用方式
训练底座对照
| 模型 | 训练 / MSA 数据 | 来源库 | 备注 |
|---|---|---|---|
| AlphaFold2 | PDB(≤2018-04-30);自蒸馏 355,993 条 Uniclust30 序列;MSA:UniRef90 2020_01、BFD、Uniclust30 2018_08、MGnify 2018_12 [1] | PDB、UniProt、MGnify | 最终约 75% 样本来自蒸馏集、25% 来自 PDB(二手转述)[1] |
| AlphaFold3 | PDB 截止 2021-09-30(PoseBusters 版 2019-09-30);AF-Multimer v2.3 蒸馏;Rfam、RNAcentral、NCBI nt;CCD 配体字典 [24] | PDB、UniProt、MGnify、RNAcentral | 配体数据细节在补充材料,未核 |
| ESM-2 / ESMFold / ESMFold | UniRef 系列语言模型;Atlas 对宏基因组序列预测 >6.17 亿结构 [8] | UniRef、MGnify | 76.8% 高置信预测与 UniRef90 相似度低于 90%(预印本口径)[8] |
| Evo 2 | OpenGenome2 约 8.84 万亿核苷酸;40B 模型训练 token 为 9.3 万亿、7B 为 2.4 万亿(token 数,与数据集规模是两个口径);排除感染真核宿主的病毒 [2] | GTDB v220、IMG/PR、IMG/VR、NCBI、Ensembl、RNAcentral / Rfam | 预训练阶段 Metagenomics(MGD DB)854B token 为最大一块 [3] |
| scGPT | 约 3,300 万正常人类细胞,51 个器官 / 组织,441 项研究 [42] | 公共单细胞数据(含 CELLxGENE 的说法为二手,未在检索结果中确认) | Nat Methods 2024 |
| 下游蒸馏模型 | 用 AFDB 预测结构做蒸馏 | AlphaFold Protein Structure Database | 二级数据,见 OpenFold / OpenFold3 等开源复刻 |
评测用途。 PDBbind / PDBbind+ / CASF 用于对接与亲和力评测,但存在泄漏(见局限);PDB 时间切分用于结构预测评测,如 AF3 的 Recent PDB(2022-05 至 2023-01)[24]。
作为验证与 reward。 DepMap CRISPR 依赖性、scPerturb 扰动响应用于虚拟细胞模型评测;ChEMBL / BindingDB 活性回归是小分子预测的默认训练集。
文献挖掘。 PubMed / PMC 开放获取全文(约 831 万篇)是生物医学语言模型的主要语料来源;各模型具体语料规模未逐一核实。
化学与材料。 化学侧以 ChEMBL / PubChem / ZINC + Enamine REAL 为主;材料侧数据集属仿真与合成层,见 模型仿真与合成数据。公共库之上的湿实验补充见 湿实验真值数据生产,各模型完整配方见 模型训练数据配方。
规模、成本与价格
主要数据库规模表
| 名称 | 类型 | 条目数 | 年增量 | license | 被哪些模型用作训练底座 | 来源 |
|---|---|---|---|---|---|---|
| Protein Data Bank (wwPDB) | 实验结构 | 261,301 | 2019 年 11,479;2021 年 12,584;2023 年 14,498;2024 年 15,455;2025 年 17,601(wwPDB 通报 17,589);2026 年至今 14,077 | CC0 1.0 | AF2、AF3、RFAA、各类对接 / 设计模型 | [4][28] |
| Electron Microscopy Data Bank | 冷冻电镜密度图 | 59,904 条 map(2026-07) | 2025 年发布 11,692 条 | 页面未核 | 间接(与 PDB 联动) | [5][29] |
| UniProt | 序列与注释 | Swiss-Prot 575,748;TrEMBL 149,430,635 | 随版本更新(2026_03,2026-09-02) | CC BY 4.0(官方 license 页未抓到,待复核) | ESM 系、AF 系 | [6] |
| UniRef(见 UniRef/BFD/Uniclust30/MGnify(MSA 库)) | 序列聚类 | UniRef100 221,143,266;UniRef90 121,494,192;UniRef50 38,840,027 | — | 同 UniProt | AF2、AF3 的 MSA | API 实测 |
| AlphaFold Protein Structure Database | 预测结构 | 约 2.41 亿(v6;UniProt 约 2.3 亿蛋白) | 随 UniProt 同步 | 官方页称"freely and openly available",条款未写;NAR 论文 CC BY 4.0 | 下游蒸馏 | [7] |
| ESM Metagenomic Atlas | 预测结构 | >6.17 亿(约 2.25 亿高置信) | 一次性发布 | 未核 | 评测与蒸馏 | [8] |
| INSDC(GenBank/ENA/DDBJ)(GenBank) | 核酸序列 | 2.67 亿序列 / 8.24 万亿碱基;WGS 51 亿序列 / 50.8 万亿碱基 | — | 公共 | Evo 2 等基因组模型 | [34] |
| GEO 与 SRA | 功能基因组 / 原始测序 | GEO 298,484 Series / 8,784,042 Samples;SRA 47,200,720 条记录(单位为记录,非碱基量) | GEO 2025 年新增 27,255 Series | 公共 | 单细胞与表达模型的上游 | [21] |
| ChEMBL | 生物活性 | 2,921,148 化合物;24,527,044 活性 | CHEMBL37(2026-05-01) | 官方文档称 CC BY-SA 3.0(未抓到该页,待复核) | 小分子活性模型、Boltz-2 亲和力 | [16] |
| PubChem | 化合物 / 物质 / 生测 | 化合物 1.247 亿;物质 3.499 亿;生测 188.7 万 | — | 美国政府作品为主,各源条款不一 | 小分子预训练 | [18][21] |
| BindingDB | 结合亲和力 | 290 万测量 / 130 万化合物 | — | 未核 | 亲和力回归 | [17] |
| CZ CELLxGENE Discover / Census | 策展单细胞 | 约 2.178 亿细胞,去重约 1.255 亿;1,845 数据集(2025-11-08 LTS) | — | 数据集各自条款,未逐一核 | 单细胞基础模型 | [9] |
| Tahoe-100M | 扰动单细胞 | >1 亿转录组,429GB | — | cc0-1.0 | 虚拟细胞模型 | [10] |
| GTEx 与 TCGA(TCGA) | 肿瘤基因组 | 33 种癌症,>20,000 例,>2.5PB | GDC 当前 Release 46.0 | 个体级受控 | 肿瘤基因组分析 | [37] |
| 国家基因组科学数据中心 NGDC / CNCB(GSA) | 原始序列 | >100PB(用户提交) | 10PB(2021-09)至 100PB(2026-02) | 开放 + 受控分层 | 国内基因组研究 | [14][25] |
| Enamine REAL Space | 可合成空间 | 1,163 亿 | — | 商业库 | 虚拟筛选 | [32] |
Census 物种拆分(总 / 去重):人 162,025,130 / 99,633,637;小鼠 46,299,127 / 21,029,771;恒河猴 7,010,229 / 2,929,014;狨猴 2,275,451 / 1,712,738;黑猩猩 158,099 / 158,099 [9]。
口径提醒:公开说法易把 PDB 中 EM 的"累计占比"与"当年占比"混用。实测累计 14.3%,2025 年当年发布 40.9%,存放口径 45.3% [5];EM 尚未超过 X 射线,但新增占比已接近。
访问成本
| 项目 | 价格 / 条件 | 备注 |
|---|---|---|
| UK Biobank Tier 1 | £3,000 / 3 年 | 问卷、体测、健康结局 |
| UK Biobank Tier 2 | £6,000 / 3 年 | 加生化 / 血液学、蛋白组、基因型;蛋白组归层各页面版本不一致,预算前须核对 |
| UK Biobank Tier 3 | £9,000 / 3 年 | 加影像、全基因组 / 外显子 |
| UK Biobank 续年 | £1,000 / £2,000 / £3,000 | 对应三档 |
| UK Biobank 其他 | 加机构 £1,000;学生 £500;低收入国家研究者可由 Global Researcher Access Fund 承担;另有 $500,000 / 年 AWS 积分支持早期职业与低收入国家研究者 | 不含 VAT;分析费用(计算、上传存储)另计,数据存储免费,传出收费 [13] |
| 开放库(PDB、UniProt、ChEMBL、PubChem、GEO、CELLxGENE、Tahoe) | 下载零费用 | 成本在算力与存储,如 Tahoe-100M 为 429GB |
| PDBbind+、DrugBank 商业授权 | ⚠️ 价格未查到 | 订阅 / 商业授权 |
⚠️ UK Biobank 官方 fee 页抓取返回 HTTP 403,上述为检索摘要转述,建模前须回官网核对 [13]。
真值与合成的单位成本比,本层未系统查到,不做估算;统一比较见 价格、成本与配比。
局限与争议
1. "公共库免费,所以不是壁垒":证据与反证
支持:
- AF2、AF3、ESM、Evo 2、scGPT 的训练数据均来自公共库;Evo 2 连数据集都以 Apache 2.0 开放 [3]。
- 开源复刻已出现:OpenFold / OpenFold3 的 OpenFold3 为 Apache 2.0(预览版,2025-10-28),与 AF3 权重的限制形成对照 [41]。
- 单细胞大库开放:Tahoe-100M 为 CC0,Arc 把 scBaseCount 与之合并成 300M+ 细胞图谱 [10][11]。
反证(壁垒在别处):
- 准入与合规:UK Biobank 需审批并在平台内分析,传出收费 [13];中国人类遗传资源信息对外提供前须安全审查 [15]。
- 许可:见下文第 5 点。
- 配对:公共库里"带临床结局 / 带扰动标签 / 带阴性结果"的数据稀缺。药企内部阴性数据锁在企业内部属二手判断,本层未查到一手证据。
- 结论:免费公共库提供预训练底座,不提供私有真值;差异化来自湿实验与验证闭环,见 湿实验真值数据生产、验证闭环与自驱实验室回流。
2. PDB 偏差:易结晶蛋白、复合物稀缺
- 方法偏向 X 射线:累计 79.7% 为 X 射线(API 实测);AF2 评述称 PDB 约 85% 为晶体结构,导致无序区与跨膜区偏弱 [43]。
- 物种与蛋白类型偏向:结构生物信息学综述称跨膜蛋白约占序列 20–30%,但在 PDB 中不足 2%(老文献估计 <1%),整体偏向易表达、易结晶、折叠良好的蛋白 [43]。
- 复合物稀缺:PDB 主体为单体或同源多聚体,高质量蛋白-配体复合物只是子集;PDBbind / PDBbind+ 通用集约 1.9 万复合物(二手,需回官方核)[26]。
- 时间切分不足以防泄漏:新实验常复用已有蛋白或配体 [44]。
3. 数据截止与泄漏
- PDBbind / PDBbind+ core set 与训练集大量共享蛋白 / 配体,导致基准高估;CleanSplit 重训后顶级模型表现显著下降,部分模型去掉蛋白或配体信息后仍能在 CASF 上取得相近成绩,提示在记忆而非学习相互作用 [44]。详见 数据泄漏(训练-测试泄漏)。
- AF3 做了时间与相似度过滤,但自述有静态结构、无序区幻觉、遗漏构象等局限 [24]。
- 版本决定可复现性:UniProt、AFDB、PubChem 随版本变化,训练快照(AF2 的 UniRef90 2020_01、AF3 的 PDB 2023-01 下载)必须固定;AFDB 2025 版开放 MSA 与 MSA depth 是正向变化 [30]。
- 数据量级易混:AlphaSync(St. Jude 镜像)报告 70,617 个结构 / 41,281 个 reviewed 蛋白,与 AFDB 的 2 亿口径不是同一对象。
4. 预测型库不是真值 AFDB 与 ESM Atlas 是模型推断,继承训练模型的偏差;以其为蒸馏数据训练下游模型会放大这一偏差。见 AlphaFold DB 与结构蒸馏。
5. license 与再分发
- AF3 权重仅学术非商业、需申请,不得用输出训练同类模型(第三方转载的 terms,非官方页)[41]。
- DrugBank 多数为 CC BY-NC 4.0(Vocabulary / Structures 为 CC0)[31]。
- PDBbind / PDBbind++ 为订阅制;BioLiP 2025-01 称因许可问题移除 24,809 条 PDBbind-CN 亲和力数据 [27][40]。
- ChEMBL 若为 CC BY-SA,衍生数据库需同协议,把 ChEMBL 并入专有训练集前须评估(该条款未核)。
- 文献语料:PMC 并非全部可商用,开放获取仅约 831 万篇(实测),其余版权受限;模型训练合规性争议未核。
| 库 | License | 商业使用 |
|---|---|---|
| Protein Data Bank (wwPDB) | CC0 1.0 [28] | 可,无需署名 |
| ChEMBL | CC BY-SA 3.0(待复核) | 可,衍生需 share-alike |
| PubChem | 美国政府作品为主,各源不一 | 多数可,需核源 |
| UniProt | CC BY 4.0(待复核) | 可,需署名 |
| AlphaFold Protein Structure Database | 官方页未写条款 [7] | 待核 |
| Tahoe-100M | cc0-1.0 [10] | 可 |
| DepMap | 多数 CC BY 4.0,个别文件另有 Broad 条款 [20] | 可,需核文件 |
| DrugBank | 多数 CC BY-NC 4.0 [31] | 多数不可 |
| PDBbind / PDBbind++ | 订阅制 [27] | 需订阅 / 授权 |
| OpenGenome2 / Evo 2 | Apache 2.0 [2][3] | 可 |
| AlphaFold 3 权重 | 学术非商业 [41] | 不可 |
| OpenFold3 | Apache 2.0(预览版)[41] | 可 |
| UK Biobank | 付费准入,数据留在平台内 | 可申请,限定用途 |
6. 中国数据出境
- 《人类遗传资源管理条例》(国令 717 号)与 2023 年 5 月科技部实施细则:遗传资源分材料与信息;信息指基因、基因组、转录组等数据,一般不含临床、影像、蛋白与代谢数据;材料出境须审批;信息对外提供前,对可能影响公众健康、国家安全者须专家安全审查 [15]。监管框架见 人类遗传资源管理条例及实施细则。
- 审批主体在不同文件中描述不一致(科技部 vs 国家卫健委),以现行官方文件为准 [15]。
- GSA 分层:GSA 开放,GSA-Human 受控 [25]。
- 《数据安全法》《个人信息保护法》对重要数据 / 个人信息出境的适用未核到权威解读,未写。
- 海外受控数据(如 NIH 受控访问)的反向限制见 NIH 受控数据访问限制与 AI 训练限制。
口径冲突与未核实
| 说法 A | 说法 B | 采信 | 原因 |
|---|---|---|---|
| CELLxGENE "1.7 亿细胞" | Census 2025-11-08 LTS 实测总计约 2.178 亿、去重约 1.255 亿 | B | API 实测;A 可能为更早版本或另一口径 |
| Virtual Cell Atlas "6 亿+ 细胞" | Arc 官方发布稿 300M+(Tahoe-100M + scBaseCount >2.3 亿,2025-02) | B | 6 亿+ 仅见第三方博客称 scBaseCount 新版 >5.02 亿(二手),未在官方页确认,且发布日期不同;使用时须注明版本与日期 [12] |
| Tahoe-100M "1,100 种小分子" / "1,200 药" | HF 数据页 drug_metadata 表 379 行 | 仅引"约 1 亿转录组、50 癌系" | 页内各说法互相对不上,药物数待查原论文 |
| Evo 2 数据 "9.3 万亿" | OpenGenome2 = 8.84 万亿核苷酸 | 8.84 万亿为数据集规模 | 9.3 万亿是 40B 模型训练 token 数,两者不要混用 |
| AF2 "主要靠 PDB" | 自蒸馏 355,993 条序列,约 75% 样本来自蒸馏、约 25% 来自 PDB(二手转述) | B(标二手) | 配方口径以多源核对结果为准 |
| PDB 中 cryo-EM 占比(混用) | 累计 14.3%;2025 年当年发布 40.9%;存放口径 45.3% | 按口径分别引用 | 累计与当年占比不可混 |
| PDB 约 85% 为晶体结构 [43] | API 实测累计 X 射线 79.7% | 79.7% | 实测为一手;85% 为评述转述,可能含其他口径 |
| 2025 年 PDB 新增 17,601 | wwPDB 通报 17,589 | 17,601 | 差 12 条系口径 / 时点不同 |
| X-Atlas 25.6M 细胞、JUMP 140,000+ 扰动、GTEx / cBioPortal 个体级走 dbGaP | 未单独核 | 暂不采用 | ⚠️ 待复核(X-Atlas 与 JUMP 口径见 湿实验真值数据生产) |
| "国家微生物 / 人口健康 / 蛋白质科学数据中心"为 2019 年国家科学数据中心 | 仅确认 NGDC 属 2019 年 20 个国家科学数据中心之一 | 只写 NGDC | 其余三家归属与规模未确认,需查科技部名单;"国家蛋白质科学中心"(设施型)与"国家蛋白质科学数据中心"可能是两个实体 |
| 数据安全法 / 个保法对出境的适用 | 未核 | 不写 | 适用范围未核到权威解读 ⚠️ |
来源
访问日期均为 2026-10-15。
- AlphaFold 2 方法与数据:https://pmc.ncbi.nlm.nih.gov/articles/PMC8371605/
- Evo 2 预印本(bioRxiv 2025.02.18.638918):https://www.biorxiv.org/content/10.1101/2025.02.18.638918v1.full
- OpenGenome2 数据卡:https://huggingface.co/datasets/arcinstitute/opengenome2 ;Evo 2 仓库:https://github.com/ArcInstitute/evo2
- RCSB PDB 当前条目与检索 API(实测):https://data.rcsb.org/rest/v1/holdings/current/entry_ids ;https://search.rcsb.org/rcsbsearch/v2/query
- wwPDB / EMDB 2025 年统计:https://www.ebi.ac.uk/emdb/news/202601-10000_entries ;https://emdataresource.org/news/wwpdb_emdb_2025.html ;https://cdn.rcsb.org/rcsb-pdb/general_information/news_publications/newsletters/2026q1/deposit.html
- UniProt REST 实测(2026_03,发布日 2026-09-02):https://rest.uniprot.org/uniprotkb/search?query=reviewed:true&size=1
- AlphaFold DB 关于页:https://alphafold.ebi.ac.uk/about
- ESM Atlas:https://www.biorxiv.org/content/10.1101/2022.07.20.500902v2.full ;https://www.livescience.com/meta-predicts-600-million-protein-shapes
- CELLxGENE Census 数据发布信息:https://chanzuckerberg.github.io/cellxgene-census/cellxgene_census_docsite_data_release_info.html
- Tahoe-100M HF 数据卡:https://huggingface.co/datasets/tahoebio/Tahoe-100M
- Arc Virtual Cell Atlas 发布:https://arcinstitute.org/news/arc-virtual-cell-atlas-launch
- Lamin 博客(二手,5.02 亿口径):https://blog.lamin.ai/arc-virtual-cell-atlas.md
- UK Biobank 访问费(检索摘要,官方页抓取 403):https://www.ukbiobank.ac.uk/use-our-data/fees/
- GSA 100PB 新闻:https://ngdc.cncb.ac.cn/news/255
- 人类遗传资源管理条例解读:https://www.fieldfisher.com/zh-cn/insights/人类遗传资源出境-对外提供的合规管理 ;https://www.zhonglun.com/research/articles/8230.html
- ChEMBL 下载页与 API 状态(实测):https://chembl.gitbook.io/chembl-interface-documentation/downloads ;https://www.ebi.ac.uk/chembl/api/data/status.json
- BindingDB in 2024:https://www.ncbi.nlm.nih.gov/pmc/articles/PMC11701568/
- PubChem 2025 update:https://doi.org/10.1093/nar/gkae1059
- scPerturb:https://pubmed.ncbi.nlm.nih.gov/38279009/
- DepMap / CCLE 条款:https://forum.depmap.org/t/ccle-terms-and-conditions/1372 ;https://bioconductor.org/packages/release/data/experiment/html/depmap.html
- NCBI E-utilities 实测(gds、pubmed、pmc、sra、pccompound、pcsubstance、pcassay):https://eutils.ncbi.nlm.nih.gov/entrez/eutils/esearch.fcgi
- bioRxiv API(2025 年):https://api.biorxiv.org/details/biorxiv/2025-01-01/2025-12-31/0
- SureChEMBL 下载与更新:https://chembl.gitbook.io/surechembl/downloads ;https://macinchem.org/2025/05/04/surechembl-update/ ;https://www.embl.org/news/science/ai-annotations-increase-patent-data-in-surechembl/
- AlphaFold 3 方法与数据:https://pmc.ncbi.nlm.nih.gov/articles/PMC11168924/
- NGDC 新闻 10PB:https://ngdc.cncb.ac.cn/news/113 ;https://ngdc.cncb.ac.cn/education/tutorials/
- PDBbind 泄漏与规模(二手):https://arxiv.org/abs/2308.09639v2 ;https://zenodo.org/records/13772124
- PDBbind+ 供应商页(二手):https://www.targetmol.com/services/pdb ;官方 https://www.pdbbind-plus.org.cn/
- wwPDB 使用政策(CC0):https://www.wwpdb.org/about/usage-policies
- EMDB 统计:https://west.emdataresource.org/news/wwpdb_emdb_2025.html
- AFDB 2025 NAR:https://academic.oup.com/nar/article/54/D1/D358/8340156
- DrugBank 发布页:https://go.drugbank.com/releases/latest
- Enamine REAL Space Navigator:https://enamine.net/compound-collections/real-compounds/real-space-navigator
- ZINC-22:https://pmc.ncbi.nlm.nih.gov/articles/PMC9976280
- GenBank 统计:https://www.ncbi.nlm.nih.gov/genbank/statistics/
- MGnify:https://pmc.ncbi.nlm.nih.gov/articles/PMC9825492 ;https://www.ebi.ac.uk/about/news/updates-from-data-resources/mgnify-v6-released/
- Human Cell Atlas(二手):https://pcrm.org/news/innovative-science/human-cell-atlas-consortium-shares-latest-collection-foundational-studies ;https://data.humancellatlas.org/about
- TCGA:https://www.cancer.gov/ccg/research/genome-sequencing/tcga
- GDC API 状态与项目(实测):https://api.gdc.cancer.gov/status
- UK Biobank PPP / Olink:https://www.businesswire.com/news/home/20250109316914/en/Thermo-Fisher-Scientific%E2%80%99s-Olink-Platform-Selected-for-World%E2%80%99s-Largest-Human-Proteome-Study
- BioLiP2 下载页(PDBbind-CN 数据移除说明):https://seq2fun.dcmb.med.umich.edu/BioLiP2/download.html
- AF3 权重条款(镜像)与 OpenFold3:https://code.rc.uab.edu/rc-data-science/community-containers/Alphafold3/-/blob/6166cdc03cb35acb23815aab7aeb749c213c6d8a/WEIGHTS_TERMS_OF_USE.md ;https://www.rdworldonline.com/openfold3-debuts-as-apache-licensed-protein-co-folding-model-with-apheris-bringing-it-into-pharma-it/
- scGPT:https://www.biorxiv.org/content/10.1101/2023.04.30.538439.full.pdf ;https://www.uhnresearch.ca/node/45272
- PDB 偏差:https://arxiv.org/pdf/2307.02171 ;https://arxiv.org/pdf/2403.12668
- PDBbind 泄漏 / CleanSplit:https://www.ncbi.nlm.nih.gov/pmc/articles/PMC12552120/ ;https://arxiv.org/html/2308.09639v3
本章涉及的实体
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或 ⚠️ 的数字未经独立核实。