公共数据库与文献沉淀

整理 2026-10-15 · 来源与口径标注见正文
本文目录
  1. 一句话结论
  2. 生产方式
  3. 厂商与渠道
  4. 应用方式
  5. 规模、成本与价格
  6. 局限与争议
  7. 口径冲突与未核实
  8. 来源

本章是 AI4S 数据金字塔的最上游:免费或低成本、体量最大,但带有系统性偏差,且几乎不含"私有真值"。数字标 [n],对应文末来源;标"API 实测"者为 2026-10-15 直接调用官方 REST / E-utilities 所得的一手口径。

一句话结论

  1. 主流结构、序列、单细胞模型的训练底座几乎全是免费公共库。 AlphaFold2 用 Protein Data Bank (wwPDB)(截至 2018-04-30)加 UniRef90 / BFD / Uniclust30 / MGnify 做 MSA,并以 355,993 条 Uniclust30 序列自蒸馏,最终训练约 75% 样本来自蒸馏集、约 25% 来自 PDB(二手转述)[1];Evo 2 的 OpenGenome2 约 8.84 万亿核苷酸,Apache 2.0 [2][3]。底座免费,"拥有公共数据"本身不构成壁垒。
  2. PDB 共 261,301 条,年增约 1.76 万条,cryo-EM 增速最快。 API 实测累计 X 射线 208,179(79.7%)、EM 37,313(14.3%)、NMR 14,746(5.6%);EM 占当年新发布的比例 2019 年 12.4%、2023 年 31.5%、2025 年 40.9% [4]。
  3. 序列库已到无法人工标注的量级。 UniProt 2026_03 中 Swiss-Prot(人工审阅)575,748 条,TrEMBL(自动注释)149,430,635 条,人工占比约 0.4% [6];AlphaFold Protein Structure Database 约 2.41 亿(v6)预测结构 [7];ESM Metagenomic Atlas 逾 6.17 亿条宏基因组预测 [8]。预测补全的是"形状",不是"功能 / 活性真值"。
  4. 单细胞公共数据进入亿级,但带扰动标签的配对真值仍稀缺。 CZ CELLxGENE Discover / Census Census 2025-11-08 LTS 约 2.18 亿细胞(去重约 1.25 亿)、1,845 个数据集 [9];Tahoe-100M 约 1 亿转录组、CC0 [10]。
  5. 受控访问型数据的壁垒是准入而非价格。 UK Biobank 三档访问费 £3,000 / £6,000 / £9,000(3 年,不含 VAT,只能在其云平台内分析)[13];中国 GSA 用户数据已超 100PB,人类遗传资源信息对外提供前须安全审查 [14][15]。

生产方式

本节写各类库的收录与维护方式:谁提交、谁策展、增长靠什么、经费从哪来。

类型 收录机制 代表 维护特征 经费
提交型档案 作者或期刊强制提交,库方做格式与生物学合理性检查 wwPDB(Protein Data Bank (wwPDB)、Electron Microscopy Data Bank)、GEO 与 SRA、INSDC(GenBank/ENA/DDBJ)、GSA 质量由提交者决定;规模随测序与冷冻电镜通量增长 公共经费(NSF / NIH / DOE / EMBL 等)
人工 / 半自动策展型 策展人从文献、专利抽取结构化记录 ChEMBL、BindingDB、Swiss-Prot、DrugBank、PDBbind / PDBbind+ 贵、慢、准;ChEMBL 靠文献策展,2026-05 发布 CHEMBL37 [16];BindingDB 的增长大量来自美国专利策展 [17] Wellcome / EMBL / NIH;DrugBank 为公司运营
自动注释 / 聚合型 管线自动处理或聚合多源 TrEMBL、UniRef、MGnify、PubChem 量大、噪声高;PubChem 聚合 1,000 余个数据源 [18] NIH / NLM、EMBL
社区 / 联盟整理型 联盟统一重处理与统一 schema CZ CELLxGENE Discover / Census、Human Cell Atlas、scPerturb、DepMap 增值在重处理而非新实验;scPerturb 整理 44 个公开扰动数据集 [19];DepMap 季度发布 [20] CZI、Broad、NIH、联盟
受控队列型 参与者同意加数据访问委员会审批 UK Biobank、GTEx 与 TCGA 个体级、GSA-Human 访问需申请,分析在云端沙箱内 慈善、政府、药企
预测型"二级库" 模型对一级库推理后落盘 AlphaFold Protein Structure Database、ESM Metagenomic Atlas 由 UniProt / MGnify 经算力生成,不是新实验 DeepMind + EMBL-EBI、Meta

关键事实:

  • 结构库产出依赖仪器与人力。 PDB 每条记录来自 X 射线、冷冻电镜或 NMR 实验,库方只归档不产数据。AlphaFold DB 是第一个"算力产出的结构"库。
  • 文献沉淀。 PubMed 约 4,128 万条记录(E-utilities 实测),2025 年发表日期记录约 188 万条;PMC 全文约 1,270 万篇,其中开放获取约 831 万篇 [21]。bioRxiv 2025 年全年 67,211 条记录(新稿 49,318)[22]。
  • 专利。 SureChEMBL 旧口径 1,700 万化合物 / 1,400 万专利文档;2025 年改为仅发布双周批量文件并启动 AI 注释(扩展到靶点、蛋白、基因);当前总量 ⚠️ 未查到 [23]。
  • MSA 底座。 AF2 用 UniRef90 v2020_01、BFD、Uniclust30 v2018_08、MGnify v2018_12 [1];AlphaFold3 同用 UniRef90、Uniclust30、MGnify、BFD,另加 Rfam 14.9、RNAcentral 21.0、NCBI nt [24]。详见 UniRef/BFD/Uniclust30/MGnify(MSA 库)。这些全是公共库的版本快照。
  • 运营机构。 欧洲侧多由 EMBL-EBI 运营,美国侧多由 NCBI / NLM 运营。

厂商与渠道

公共库的"厂商"是运营机构与数据中心。下表以数据库为单位,覆盖中国、美国与全球。

名称 国家 类型 规模口径 用户 经费 来源
国家基因组科学数据中心 NGDC / CNCB(国家基因组科学数据中心 / CNCB) 中国 提交型 + 受控(GSA、GSA-Human、OMIX 等) GSA 用户数据 2026-02-21 突破 100PB;1,272 家机构、14,246 名用户;日下载约 20TB;镜像 INSDC 约 25PB(NGDC 自报) 200+ 国家 / 地区,支撑 12,000+ 篇论文(自报) 国家财政,金额未披露 [14][25]
国家微生物 / 人口健康科学数据中心 中国 国家科学数据中心 ⚠️ 未查到,归属待复核 ⚠️ 未查到 ⚠️ 未查到 —
PDBbind / PDBbind+(中科院上海药物所王任小组) 中国 策展型亲和力集 v2020 通用集 19,443 个复合物(二手);PDBbind+ 为订阅制(供应商口径) 学术与工业 ⚠️ 未查到 [26][27]
Protein Data Bank (wwPDB)(wwPDB:RCSB / PDBe / PDBj / BMRB) 美国 / 英国 / 日本 提交型 261,301 条(API 实测) 全球结构生物学与 AI 训练 公共经费 [4][28]
Electron Microscopy Data Bank(EMBL-EBI) 英国 提交型 2025 年首次单年发布 >10,000 条;2026-07 页面显示 59,904 条 map 同上 公共 [5][29]
UniProt(EBI / SIB / PIR) 英 / 瑞士 / 美 策展 + 自动 Swiss-Prot 575,748;TrEMBL 149,430,635(2026_03) 全球 NIH 等 [6]
AlphaFold Protein Structure Database(EMBL-EBI + Google DeepMind) 英国 预测型 约 2.41 亿(v6;官方概览页未给精确值);2025 版与 UniProt 2025_03 同步,加入 isoform、MSA 与 >3.61 亿 TED 结构域注释 全球 DeepMind + EMBL-EBI [7][30]
ESM Metagenomic Atlas(Meta AI) 美国 预测型 >6.17 亿条,约 2.25 亿条高置信 学术与工业 Meta [8]
ChEMBL(EMBL-EBI) 英国 文献策展 CHEMBL37:去重化合物 2,921,148,活性 24,527,044,靶点 18,552,文献 101,100(API 实测) 药企与学术 Wellcome / EMBL 等 [16]
PubChem(NCBI) 美国 聚合 化合物 124,717,116;物质 349,884,578;生测 1,886,628(E-utilities 实测) 全球 NIH / NLM [18][21]
BindingDB 美国 策展(专利为主) 290 万测量、130 万化合物(NAR 口径) 学术与工业 ⚠️ 未查到 [17]
DrugBank(OMx) 加拿大 策展 v5.1.22(2026-06-27);学术下载"暂停" 学术免费、商业付费 公司运营 [31]
Enamine REAL Space 乌克兰 / 美国 可购买按需合成空间 1,163 亿分子(公司页,口径日期未标);3–4 周交付、成功率 >80%(公司口径) 药企虚拟筛选 私营 [32]
ZINC-22(UCSF) 美国 可购买分子库 >370 亿可搜索的可购买化合物(2023 论文口径) 学术 NIH [33]
GEO 与 SRA(NCBI) 美国 提交型 GEO Series 298,484,Samples 8,784,042;2025 年新增 Series 27,255;SRA 记录 47,200,720(实测) 全球 NIH [21]
INSDC(GenBank/ENA/DDBJ)(GenBank / ENA / DDBJ) 美国 / 英国 / 日本 提交型 GenBank Release 273(2026-08):267,383,895 条序列 / 8.24 万亿碱基;WGS 5,132,699,813 条 / 50.8 万亿碱基 全球 NIH 等 [34]
MGnify(EBI) 英国 聚合 蛋白库 >24 亿条非冗余序列(2022 论文口径);v6 于 2026 发布,新总量 ⚠️ 未查到 全球 EMBL [35]
CZ CELLxGENE Discover / Census(CZI,Chan Zuckerberg Biohub 体系) 美国 联盟整理 见下节规模表 全球 CZI [9]
Human Cell Atlas 国际 联盟整理 (二手)2025-01 更新含 6,200 万细胞、9,100 位供者;官方页未给精确数 全球 CZI 等 [36]
Tahoe-100M(Tahoe Therapeutics)+ Arc Virtual Cell Atlas(Arc Institute) 美国 扰动单细胞 + 统一处理公共单细胞 Tahoe-100M:>1 亿转录组、50 癌细胞系;scBaseCount 初版 >2.3 亿细胞 / 21 物种 学术与工业 公司 / 非营利 [10][11]
scPerturb 德 / 美 联盟整理 44 个公开扰动数据集 学术 ⚠️ 未查到 [19]
DepMap(Broad) 美国 联盟整理 季度发布;细胞系数 ⚠️ 未查到 学术与工业 NIH / Broad / 联盟 [20]
GTEx 与 TCGA 美国 受控队列 TCGA:33 种癌症、>20,000 例、>2.5PB;GDC Data Release 46.0(2026-08-10);GTEx 数字 ⚠️ 未查到 学术 NIH / NCI [37][38]
UK Biobank 英国 受控队列 50 万人;WGS / WES;蛋白组试点 54,000+ 人;PPP 计划首期 300,000 样本至 600,000 样本,自 2026 起分批释放、全量 2027 3 万+ 研究者(自报,未核) 慈善 + 政府 + 药企 [13][39]
SureChEMBL 英国 专利化学 旧口径 1,700 万化合物 / 1,400 万文档;当前 ⚠️ 未查到 学术 EMBL [23]

应用方式

训练底座对照

模型 训练 / MSA 数据 来源库 备注
AlphaFold2 PDB(≤2018-04-30);自蒸馏 355,993 条 Uniclust30 序列;MSA:UniRef90 2020_01、BFD、Uniclust30 2018_08、MGnify 2018_12 [1] PDB、UniProt、MGnify 最终约 75% 样本来自蒸馏集、25% 来自 PDB(二手转述)[1]
AlphaFold3 PDB 截止 2021-09-30(PoseBusters 版 2019-09-30);AF-Multimer v2.3 蒸馏;Rfam、RNAcentral、NCBI nt;CCD 配体字典 [24] PDB、UniProt、MGnify、RNAcentral 配体数据细节在补充材料,未核
ESM-2 / ESMFold / ESMFold UniRef 系列语言模型;Atlas 对宏基因组序列预测 >6.17 亿结构 [8] UniRef、MGnify 76.8% 高置信预测与 UniRef90 相似度低于 90%(预印本口径)[8]
Evo 2 OpenGenome2 约 8.84 万亿核苷酸;40B 模型训练 token 为 9.3 万亿、7B 为 2.4 万亿(token 数,与数据集规模是两个口径);排除感染真核宿主的病毒 [2] GTDB v220、IMG/PR、IMG/VR、NCBI、Ensembl、RNAcentral / Rfam 预训练阶段 Metagenomics(MGD DB)854B token 为最大一块 [3]
scGPT 约 3,300 万正常人类细胞,51 个器官 / 组织,441 项研究 [42] 公共单细胞数据(含 CELLxGENE 的说法为二手,未在检索结果中确认) Nat Methods 2024
下游蒸馏模型 用 AFDB 预测结构做蒸馏 AlphaFold Protein Structure Database 二级数据,见 OpenFold / OpenFold3 等开源复刻

评测用途。 PDBbind / PDBbind+ / CASF 用于对接与亲和力评测,但存在泄漏(见局限);PDB 时间切分用于结构预测评测,如 AF3 的 Recent PDB(2022-05 至 2023-01)[24]。

作为验证与 reward。 DepMap CRISPR 依赖性、scPerturb 扰动响应用于虚拟细胞模型评测;ChEMBL / BindingDB 活性回归是小分子预测的默认训练集。

文献挖掘。 PubMed / PMC 开放获取全文(约 831 万篇)是生物医学语言模型的主要语料来源;各模型具体语料规模未逐一核实。

化学与材料。 化学侧以 ChEMBL / PubChem / ZINC + Enamine REAL 为主;材料侧数据集属仿真与合成层,见 模型仿真与合成数据。公共库之上的湿实验补充见 湿实验真值数据生产,各模型完整配方见 模型训练数据配方。

规模、成本与价格

主要数据库规模表

名称 类型 条目数 年增量 license 被哪些模型用作训练底座 来源
Protein Data Bank (wwPDB) 实验结构 261,301 2019 年 11,479;2021 年 12,584;2023 年 14,498;2024 年 15,455;2025 年 17,601(wwPDB 通报 17,589);2026 年至今 14,077 CC0 1.0 AF2、AF3、RFAA、各类对接 / 设计模型 [4][28]
Electron Microscopy Data Bank 冷冻电镜密度图 59,904 条 map(2026-07) 2025 年发布 11,692 条 页面未核 间接(与 PDB 联动) [5][29]
UniProt 序列与注释 Swiss-Prot 575,748;TrEMBL 149,430,635 随版本更新(2026_03,2026-09-02) CC BY 4.0(官方 license 页未抓到,待复核) ESM 系、AF 系 [6]
UniRef(见 UniRef/BFD/Uniclust30/MGnify(MSA 库)) 序列聚类 UniRef100 221,143,266;UniRef90 121,494,192;UniRef50 38,840,027 — 同 UniProt AF2、AF3 的 MSA API 实测
AlphaFold Protein Structure Database 预测结构 约 2.41 亿(v6;UniProt 约 2.3 亿蛋白) 随 UniProt 同步 官方页称"freely and openly available",条款未写;NAR 论文 CC BY 4.0 下游蒸馏 [7]
ESM Metagenomic Atlas 预测结构 >6.17 亿(约 2.25 亿高置信) 一次性发布 未核 评测与蒸馏 [8]
INSDC(GenBank/ENA/DDBJ)(GenBank) 核酸序列 2.67 亿序列 / 8.24 万亿碱基;WGS 51 亿序列 / 50.8 万亿碱基 — 公共 Evo 2 等基因组模型 [34]
GEO 与 SRA 功能基因组 / 原始测序 GEO 298,484 Series / 8,784,042 Samples;SRA 47,200,720 条记录(单位为记录,非碱基量) GEO 2025 年新增 27,255 Series 公共 单细胞与表达模型的上游 [21]
ChEMBL 生物活性 2,921,148 化合物;24,527,044 活性 CHEMBL37(2026-05-01) 官方文档称 CC BY-SA 3.0(未抓到该页,待复核) 小分子活性模型、Boltz-2 亲和力 [16]
PubChem 化合物 / 物质 / 生测 化合物 1.247 亿;物质 3.499 亿;生测 188.7 万 — 美国政府作品为主,各源条款不一 小分子预训练 [18][21]
BindingDB 结合亲和力 290 万测量 / 130 万化合物 — 未核 亲和力回归 [17]
CZ CELLxGENE Discover / Census 策展单细胞 约 2.178 亿细胞,去重约 1.255 亿;1,845 数据集(2025-11-08 LTS) — 数据集各自条款,未逐一核 单细胞基础模型 [9]
Tahoe-100M 扰动单细胞 >1 亿转录组,429GB — cc0-1.0 虚拟细胞模型 [10]
GTEx 与 TCGA(TCGA) 肿瘤基因组 33 种癌症,>20,000 例,>2.5PB GDC 当前 Release 46.0 个体级受控 肿瘤基因组分析 [37]
国家基因组科学数据中心 NGDC / CNCB(GSA) 原始序列 >100PB(用户提交) 10PB(2021-09)至 100PB(2026-02) 开放 + 受控分层 国内基因组研究 [14][25]
Enamine REAL Space 可合成空间 1,163 亿 — 商业库 虚拟筛选 [32]

Census 物种拆分(总 / 去重):人 162,025,130 / 99,633,637;小鼠 46,299,127 / 21,029,771;恒河猴 7,010,229 / 2,929,014;狨猴 2,275,451 / 1,712,738;黑猩猩 158,099 / 158,099 [9]。

口径提醒:公开说法易把 PDB 中 EM 的"累计占比"与"当年占比"混用。实测累计 14.3%,2025 年当年发布 40.9%,存放口径 45.3% [5];EM 尚未超过 X 射线,但新增占比已接近。

访问成本

项目 价格 / 条件 备注
UK Biobank Tier 1 £3,000 / 3 年 问卷、体测、健康结局
UK Biobank Tier 2 £6,000 / 3 年 加生化 / 血液学、蛋白组、基因型;蛋白组归层各页面版本不一致,预算前须核对
UK Biobank Tier 3 £9,000 / 3 年 加影像、全基因组 / 外显子
UK Biobank 续年 £1,000 / £2,000 / £3,000 对应三档
UK Biobank 其他 加机构 £1,000;学生 £500;低收入国家研究者可由 Global Researcher Access Fund 承担;另有 $500,000 / 年 AWS 积分支持早期职业与低收入国家研究者 不含 VAT;分析费用(计算、上传存储)另计,数据存储免费,传出收费 [13]
开放库(PDB、UniProt、ChEMBL、PubChem、GEO、CELLxGENE、Tahoe) 下载零费用 成本在算力与存储,如 Tahoe-100M 为 429GB
PDBbind+、DrugBank 商业授权 ⚠️ 价格未查到 订阅 / 商业授权

⚠️ UK Biobank 官方 fee 页抓取返回 HTTP 403,上述为检索摘要转述,建模前须回官网核对 [13]。

真值与合成的单位成本比,本层未系统查到,不做估算;统一比较见 价格、成本与配比。

局限与争议

1. "公共库免费,所以不是壁垒":证据与反证

支持:

  • AF2、AF3、ESM、Evo 2、scGPT 的训练数据均来自公共库;Evo 2 连数据集都以 Apache 2.0 开放 [3]。
  • 开源复刻已出现:OpenFold / OpenFold3 的 OpenFold3 为 Apache 2.0(预览版,2025-10-28),与 AF3 权重的限制形成对照 [41]。
  • 单细胞大库开放:Tahoe-100M 为 CC0,Arc 把 scBaseCount 与之合并成 300M+ 细胞图谱 [10][11]。

反证(壁垒在别处):

  • 准入与合规:UK Biobank 需审批并在平台内分析,传出收费 [13];中国人类遗传资源信息对外提供前须安全审查 [15]。
  • 许可:见下文第 5 点。
  • 配对:公共库里"带临床结局 / 带扰动标签 / 带阴性结果"的数据稀缺。药企内部阴性数据锁在企业内部属二手判断,本层未查到一手证据。
  • 结论:免费公共库提供预训练底座,不提供私有真值;差异化来自湿实验与验证闭环,见 湿实验真值数据生产、验证闭环与自驱实验室回流。

2. PDB 偏差:易结晶蛋白、复合物稀缺

  • 方法偏向 X 射线:累计 79.7% 为 X 射线(API 实测);AF2 评述称 PDB 约 85% 为晶体结构,导致无序区与跨膜区偏弱 [43]。
  • 物种与蛋白类型偏向:结构生物信息学综述称跨膜蛋白约占序列 20–30%,但在 PDB 中不足 2%(老文献估计 <1%),整体偏向易表达、易结晶、折叠良好的蛋白 [43]。
  • 复合物稀缺:PDB 主体为单体或同源多聚体,高质量蛋白-配体复合物只是子集;PDBbind / PDBbind+ 通用集约 1.9 万复合物(二手,需回官方核)[26]。
  • 时间切分不足以防泄漏:新实验常复用已有蛋白或配体 [44]。

3. 数据截止与泄漏

  • PDBbind / PDBbind+ core set 与训练集大量共享蛋白 / 配体,导致基准高估;CleanSplit 重训后顶级模型表现显著下降,部分模型去掉蛋白或配体信息后仍能在 CASF 上取得相近成绩,提示在记忆而非学习相互作用 [44]。详见 数据泄漏(训练-测试泄漏)。
  • AF3 做了时间与相似度过滤,但自述有静态结构、无序区幻觉、遗漏构象等局限 [24]。
  • 版本决定可复现性:UniProt、AFDB、PubChem 随版本变化,训练快照(AF2 的 UniRef90 2020_01、AF3 的 PDB 2023-01 下载)必须固定;AFDB 2025 版开放 MSA 与 MSA depth 是正向变化 [30]。
  • 数据量级易混:AlphaSync(St. Jude 镜像)报告 70,617 个结构 / 41,281 个 reviewed 蛋白,与 AFDB 的 2 亿口径不是同一对象。

4. 预测型库不是真值 AFDB 与 ESM Atlas 是模型推断,继承训练模型的偏差;以其为蒸馏数据训练下游模型会放大这一偏差。见 AlphaFold DB 与结构蒸馏。

5. license 与再分发

  • AF3 权重仅学术非商业、需申请,不得用输出训练同类模型(第三方转载的 terms,非官方页)[41]。
  • DrugBank 多数为 CC BY-NC 4.0(Vocabulary / Structures 为 CC0)[31]。
  • PDBbind / PDBbind++ 为订阅制;BioLiP 2025-01 称因许可问题移除 24,809 条 PDBbind-CN 亲和力数据 [27][40]。
  • ChEMBL 若为 CC BY-SA,衍生数据库需同协议,把 ChEMBL 并入专有训练集前须评估(该条款未核)。
  • 文献语料:PMC 并非全部可商用,开放获取仅约 831 万篇(实测),其余版权受限;模型训练合规性争议未核。
库 License 商业使用
Protein Data Bank (wwPDB) CC0 1.0 [28] 可,无需署名
ChEMBL CC BY-SA 3.0(待复核) 可,衍生需 share-alike
PubChem 美国政府作品为主,各源不一 多数可,需核源
UniProt CC BY 4.0(待复核) 可,需署名
AlphaFold Protein Structure Database 官方页未写条款 [7] 待核
Tahoe-100M cc0-1.0 [10] 可
DepMap 多数 CC BY 4.0,个别文件另有 Broad 条款 [20] 可,需核文件
DrugBank 多数 CC BY-NC 4.0 [31] 多数不可
PDBbind / PDBbind++ 订阅制 [27] 需订阅 / 授权
OpenGenome2 / Evo 2 Apache 2.0 [2][3] 可
AlphaFold 3 权重 学术非商业 [41] 不可
OpenFold3 Apache 2.0(预览版)[41] 可
UK Biobank 付费准入,数据留在平台内 可申请,限定用途

6. 中国数据出境

  • 《人类遗传资源管理条例》(国令 717 号)与 2023 年 5 月科技部实施细则:遗传资源分材料与信息;信息指基因、基因组、转录组等数据,一般不含临床、影像、蛋白与代谢数据;材料出境须审批;信息对外提供前,对可能影响公众健康、国家安全者须专家安全审查 [15]。监管框架见 人类遗传资源管理条例及实施细则。
  • 审批主体在不同文件中描述不一致(科技部 vs 国家卫健委),以现行官方文件为准 [15]。
  • GSA 分层:GSA 开放,GSA-Human 受控 [25]。
  • 《数据安全法》《个人信息保护法》对重要数据 / 个人信息出境的适用未核到权威解读,未写。
  • 海外受控数据(如 NIH 受控访问)的反向限制见 NIH 受控数据访问限制与 AI 训练限制。

口径冲突与未核实

说法 A 说法 B 采信 原因
CELLxGENE "1.7 亿细胞" Census 2025-11-08 LTS 实测总计约 2.178 亿、去重约 1.255 亿 B API 实测;A 可能为更早版本或另一口径
Virtual Cell Atlas "6 亿+ 细胞" Arc 官方发布稿 300M+(Tahoe-100M + scBaseCount >2.3 亿,2025-02) B 6 亿+ 仅见第三方博客称 scBaseCount 新版 >5.02 亿(二手),未在官方页确认,且发布日期不同;使用时须注明版本与日期 [12]
Tahoe-100M "1,100 种小分子" / "1,200 药" HF 数据页 drug_metadata 表 379 行 仅引"约 1 亿转录组、50 癌系" 页内各说法互相对不上,药物数待查原论文
Evo 2 数据 "9.3 万亿" OpenGenome2 = 8.84 万亿核苷酸 8.84 万亿为数据集规模 9.3 万亿是 40B 模型训练 token 数,两者不要混用
AF2 "主要靠 PDB" 自蒸馏 355,993 条序列,约 75% 样本来自蒸馏、约 25% 来自 PDB(二手转述) B(标二手) 配方口径以多源核对结果为准
PDB 中 cryo-EM 占比(混用) 累计 14.3%;2025 年当年发布 40.9%;存放口径 45.3% 按口径分别引用 累计与当年占比不可混
PDB 约 85% 为晶体结构 [43] API 实测累计 X 射线 79.7% 79.7% 实测为一手;85% 为评述转述,可能含其他口径
2025 年 PDB 新增 17,601 wwPDB 通报 17,589 17,601 差 12 条系口径 / 时点不同
X-Atlas 25.6M 细胞、JUMP 140,000+ 扰动、GTEx / cBioPortal 个体级走 dbGaP 未单独核 暂不采用 ⚠️ 待复核(X-Atlas 与 JUMP 口径见 湿实验真值数据生产)
"国家微生物 / 人口健康 / 蛋白质科学数据中心"为 2019 年国家科学数据中心 仅确认 NGDC 属 2019 年 20 个国家科学数据中心之一 只写 NGDC 其余三家归属与规模未确认,需查科技部名单;"国家蛋白质科学中心"(设施型)与"国家蛋白质科学数据中心"可能是两个实体
数据安全法 / 个保法对出境的适用 未核 不写 适用范围未核到权威解读 ⚠️

来源

访问日期均为 2026-10-15。

  1. AlphaFold 2 方法与数据:https://pmc.ncbi.nlm.nih.gov/articles/PMC8371605/
  2. Evo 2 预印本(bioRxiv 2025.02.18.638918):https://www.biorxiv.org/content/10.1101/2025.02.18.638918v1.full
  3. OpenGenome2 数据卡:https://huggingface.co/datasets/arcinstitute/opengenome2 ;Evo 2 仓库:https://github.com/ArcInstitute/evo2
  4. RCSB PDB 当前条目与检索 API(实测):https://data.rcsb.org/rest/v1/holdings/current/entry_ids ;https://search.rcsb.org/rcsbsearch/v2/query
  5. wwPDB / EMDB 2025 年统计:https://www.ebi.ac.uk/emdb/news/202601-10000_entries ;https://emdataresource.org/news/wwpdb_emdb_2025.html ;https://cdn.rcsb.org/rcsb-pdb/general_information/news_publications/newsletters/2026q1/deposit.html
  6. UniProt REST 实测(2026_03,发布日 2026-09-02):https://rest.uniprot.org/uniprotkb/search?query=reviewed:true&size=1
  7. AlphaFold DB 关于页:https://alphafold.ebi.ac.uk/about
  8. ESM Atlas:https://www.biorxiv.org/content/10.1101/2022.07.20.500902v2.full ;https://www.livescience.com/meta-predicts-600-million-protein-shapes
  9. CELLxGENE Census 数据发布信息:https://chanzuckerberg.github.io/cellxgene-census/cellxgene_census_docsite_data_release_info.html
  10. Tahoe-100M HF 数据卡:https://huggingface.co/datasets/tahoebio/Tahoe-100M
  11. Arc Virtual Cell Atlas 发布:https://arcinstitute.org/news/arc-virtual-cell-atlas-launch
  12. Lamin 博客(二手,5.02 亿口径):https://blog.lamin.ai/arc-virtual-cell-atlas.md
  13. UK Biobank 访问费(检索摘要,官方页抓取 403):https://www.ukbiobank.ac.uk/use-our-data/fees/
  14. GSA 100PB 新闻:https://ngdc.cncb.ac.cn/news/255
  15. 人类遗传资源管理条例解读:https://www.fieldfisher.com/zh-cn/insights/人类遗传资源出境-对外提供的合规管理 ;https://www.zhonglun.com/research/articles/8230.html
  16. ChEMBL 下载页与 API 状态(实测):https://chembl.gitbook.io/chembl-interface-documentation/downloads ;https://www.ebi.ac.uk/chembl/api/data/status.json
  17. BindingDB in 2024:https://www.ncbi.nlm.nih.gov/pmc/articles/PMC11701568/
  18. PubChem 2025 update:https://doi.org/10.1093/nar/gkae1059
  19. scPerturb:https://pubmed.ncbi.nlm.nih.gov/38279009/
  20. DepMap / CCLE 条款:https://forum.depmap.org/t/ccle-terms-and-conditions/1372 ;https://bioconductor.org/packages/release/data/experiment/html/depmap.html
  21. NCBI E-utilities 实测(gds、pubmed、pmc、sra、pccompound、pcsubstance、pcassay):https://eutils.ncbi.nlm.nih.gov/entrez/eutils/esearch.fcgi
  22. bioRxiv API(2025 年):https://api.biorxiv.org/details/biorxiv/2025-01-01/2025-12-31/0
  23. SureChEMBL 下载与更新:https://chembl.gitbook.io/surechembl/downloads ;https://macinchem.org/2025/05/04/surechembl-update/ ;https://www.embl.org/news/science/ai-annotations-increase-patent-data-in-surechembl/
  24. AlphaFold 3 方法与数据:https://pmc.ncbi.nlm.nih.gov/articles/PMC11168924/
  25. NGDC 新闻 10PB:https://ngdc.cncb.ac.cn/news/113 ;https://ngdc.cncb.ac.cn/education/tutorials/
  26. PDBbind 泄漏与规模(二手):https://arxiv.org/abs/2308.09639v2 ;https://zenodo.org/records/13772124
  27. PDBbind+ 供应商页(二手):https://www.targetmol.com/services/pdb ;官方 https://www.pdbbind-plus.org.cn/
  28. wwPDB 使用政策(CC0):https://www.wwpdb.org/about/usage-policies
  29. EMDB 统计:https://west.emdataresource.org/news/wwpdb_emdb_2025.html
  30. AFDB 2025 NAR:https://academic.oup.com/nar/article/54/D1/D358/8340156
  31. DrugBank 发布页:https://go.drugbank.com/releases/latest
  32. Enamine REAL Space Navigator:https://enamine.net/compound-collections/real-compounds/real-space-navigator
  33. ZINC-22:https://pmc.ncbi.nlm.nih.gov/articles/PMC9976280
  34. GenBank 统计:https://www.ncbi.nlm.nih.gov/genbank/statistics/
  35. MGnify:https://pmc.ncbi.nlm.nih.gov/articles/PMC9825492 ;https://www.ebi.ac.uk/about/news/updates-from-data-resources/mgnify-v6-released/
  36. Human Cell Atlas(二手):https://pcrm.org/news/innovative-science/human-cell-atlas-consortium-shares-latest-collection-foundational-studies ;https://data.humancellatlas.org/about
  37. TCGA:https://www.cancer.gov/ccg/research/genome-sequencing/tcga
  38. GDC API 状态与项目(实测):https://api.gdc.cancer.gov/status
  39. UK Biobank PPP / Olink:https://www.businesswire.com/news/home/20250109316914/en/Thermo-Fisher-Scientific%E2%80%99s-Olink-Platform-Selected-for-World%E2%80%99s-Largest-Human-Proteome-Study
  40. BioLiP2 下载页(PDBbind-CN 数据移除说明):https://seq2fun.dcmb.med.umich.edu/BioLiP2/download.html
  41. AF3 权重条款(镜像)与 OpenFold3:https://code.rc.uab.edu/rc-data-science/community-containers/Alphafold3/-/blob/6166cdc03cb35acb23815aab7aeb749c213c6d8a/WEIGHTS_TERMS_OF_USE.md ;https://www.rdworldonline.com/openfold3-debuts-as-apache-licensed-protein-co-folding-model-with-apheris-bringing-it-into-pharma-it/
  42. scGPT:https://www.biorxiv.org/content/10.1101/2023.04.30.538439.full.pdf ;https://www.uhnresearch.ca/node/45272
  43. PDB 偏差:https://arxiv.org/pdf/2307.02171 ;https://arxiv.org/pdf/2403.12668
  44. PDBbind 泄漏 / CleanSplit:https://www.ncbi.nlm.nih.gov/pmc/articles/PMC12552120/ ;https://arxiv.org/html/2308.09639v3

本章涉及的实体

AlphaFold Protein Structure Database数据集 · 英国
EMBL-EBI 与 DeepMind 联合发布的约 2 亿条预测蛋白结构库
BindingDB数据集 · 美国
以专利策展驱动增长的结合亲和力数据库,290 万测量值
CZ CELLxGENE Discover / Census数据集 · 美国
CZI 策展的单细胞库,约 2.18 亿细胞(去重约 1.25 亿)
Cambridge Structural Database (CSD)数据集 · 英国
CCDC 维护的小分子与金属有机晶体结构库,超 140 万条
ChEMBL数据集 · 英国
文献策展的生物活性数据库,小分子活性预测的默认训练集
ClinVar数据集 · 美国
NCBI 的遗传变异-临床意义提交库,变异效应预测的标准评测标签
DepMap数据集 · 美国
Broad 的癌细胞系依赖性图谱,虚拟细胞模型常用评测真值
DrugBank数据集
药物-靶点数据库,学术下载暂停,多数内容限非商用
ENCODE数据集 · 美国
美国基因组调控元件百科全书,开放功能基因组学实验库
ESM Metagenomic Atlas数据集 · 美国
Meta AI 对宏基因组蛋白的 6.17 亿条结构预测库
Electron Microscopy Data Bank数据集 · 英国
EMBL-EBI 维护的冷冻电镜密度图档案,2025 年单年发布首破 1 万条
Ensembl数据集 · 欧洲
EMBL-EBI 的基因组注释与比较基因组学平台
GEO 与 SRA数据集 · 美国
NCBI 的功能基因组与原始测序档案,单细胞公共数据的上游
GTEx 与 TCGA数据集 · 美国
组织转录组与肿瘤基因组两大人群级参考数据,个体级数据受控
GWAS Catalog数据集 · 欧洲
NHGRI-EBI 维护的全基因组关联研究结果目录
Human Cell Atlas数据集 · 全球
国际单细胞图谱联盟及其数据门户,规模为二手口径
Human Protein Atlas (HPA)数据集 · 欧洲
瑞典主导的人类蛋白组织表达与亚细胞定位图谱
INSDC(GenBank/ENA/DDBJ)数据集 · 全球
三大核酸序列档案的国际联盟,GenBank 达 8.24 万亿碱基
InterPro数据集 · 欧洲
整合多家成员库的蛋白家族、结构域与功能位点分类
KEGG数据集 · 日本
京都大学系通路与基因组知识库,批量下载需订阅
MGnify数据集 · 英国
EBI 的宏基因组分析与蛋白库,是 AF/ESM/OpenFold3 的共同底座
Open Targets Platform数据集 · 英国
整合遗传学、药物、通路与文献证据的靶点-疾病关联平台
OpenAlex数据集 · 美国
取代 Microsoft Academic Graph 的开放学术元数据图谱
OpenGenome2数据集 · 美国
Evo 2 训练集,8.84 万亿核苷酸,Apache 2.0
PDBbind / PDBbind+数据集 · 中国
蛋白-配体复合物亲和力基准,因泄漏争议与订阅许可受限
Protein Data Bank (wwPDB)数据集 · 全球
全球实验测定生物大分子三维结构的统一档案,AI 结构预测的核心真值
PubChem数据集 · 美国
NCBI 聚合 1000 多个来源的化合物、物质与生测库
PubMed / PMC数据集 · 美国
NLM 的生物医学文献索引与全文库,约 4,100 万条
Reactome数据集 · 全球
人工审编的开放通路知识库,以人类通路为核心
STRING数据集 · 欧洲
蛋白互作与功能关联网络库,覆盖逾 1.2 万个物种
SureChEMBL数据集 · 英国
EBI 的专利化学库,2025 年改批量发布并加 AI 注释
Tox21 / ToxCast数据集 · 美国
美国多机构高通量体外毒理库,Tox21 约 1 万种化学品
UK Biobank数据集 · 英国
50 万人队列,付费准入且数据只能在其云平台内分析
UniProt数据集 · 全球
蛋白序列与功能注释的核心库,人工审阅仅占约 0.4%
UniRef/BFD/Uniclust30/MGnify(MSA 库)数据集 · 全球
AF2/AF3 搜索多序列比对所用的序列聚类库集合
ZINC-22数据集 · 美国
UCSF 的可购买分子库,可搜索规模超 370 亿
bioRxiv数据集 · 美国
生命科学预印本服务器,AI4S 新方法首发地
gnomAD数据集 · 全球
Broad 牵头的群体外显子与基因组变异频率库,v4 约 80 万人
国家基因组科学数据中心 NGDC / CNCB数据集 · 中国
中国国家级组学数据中心,GSA 用户数据已超 100PB

本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或 ⚠️ 的数字未经独立核实。