ESM3
序列、结构、功能多模态，双层合成：预测结构加逆折叠序列
- 数据类型
- 蛋白序列；结构；功能标注
- License
- ESM3-open（1.4B）学术非商用；大模型走 API
模型与发布
EvolutionaryScale 2024-06 发布，98B 参数、1.07e24 FLOPs、771B 唯一 token [1]。
训练数据配方
- 公共库：UniRef 2023_02、MGnify90 2023_02、JGI、OAS 抗体序列超 10 亿条、InterPro 功能标注；Protein Data Bank (wwPDB) 仅取 2020-05-01 前、分辨率优于 9 Å 的 X 射线结构 [1]。
- 蒸馏合成：AlphaFold Protein Structure Database v4 与 ESMAtlas（pLDDT、pTM 均 ≥0.7）预测结构，即 3.15B 序列、236M 结构、539M 功能标注中结构的大头；另用 200M 逆折叠模型生成合成序列（ESMAtlas/AFDB 每结构 5 条，PDB 每结构 64 条），训练时 50% 概率使用 [1]。
- 私有真值：无。去冗余 90%，聚类 70%，每簇最多 20 样本，验证集做 70% 一致性污染检查 [1]。
数据供应方与许可
UniProt/EBI、JGI、OAS。ESM3-open 学术非商用 [1]。
已知问题与口径冲突
2025-11 并入 Biohub 后许可变化未查到；法律形式有"收购"与"团队加入"两种说法 [2]。
来源
相关卡片
EvolutionaryScale公司与机构 · 美国
ESM3 开发商，2025-11 并入 CZI Biohub
AlphaFold DB 与结构蒸馏概念与方法
用预测结构当训练数据的做法，AF2 约 75% 训练样本取自自蒸馏
真值少但权重高的配方结构概念与方法
公共库打底、蒸馏放大、少量真值高权重收尾
AlphaFold Protein Structure Database数据集 · 英国
EMBL-EBI 与 DeepMind 联合发布的约 2 亿条预测蛋白结构库
ESM Metagenomic Atlas数据集 · 美国
Meta AI 对宏基因组蛋白的 6.17 亿条结构预测库
Protein Data Bank (wwPDB)数据集 · 全球
全球实验测定生物大分子三维结构的统一档案，AI 结构预测的核心真值
UniProt数据集 · 全球
蛋白序列与功能注释的核心库，人工审阅仅占约 0.4%
ESM-2 / ESMFold论文与基准 · 美国
UniRef50 约 6,500 万簇训练的蛋白语言模型，ESMFold 用 AF2 蒸馏
卡片整理 2026-10-15。公司自报数据标“公司口径”；⚠️ 为未经独立核实。