Evo 2

论文与基准美国配方

OpenGenome2 8.84 万亿 nt 训练的基因组语言模型

数据类型
DNA 基因组序列

模型与发布

Arc Institute 联合 NVIDIA 等,2025-02 发布,7B 与 40B 两档,上下文最长 1M [1]。

训练数据配方

  • 公共库:OpenGenome2 合计 8.84 万亿 nt:原核 113,379 基因组约 3,570 亿 nt(含 GTDB 220.0 新增 28,174),真核 15,032 基因组约 6.98 万亿 nt(约 79%),宏基因组约 8,540 亿 nt,细胞器 32,240 基因组,另有围绕基因窗口化的真核子集约 6,020 亿 nt [1]。
  • 训练量:40B 模型用 9.3 万亿 token,7B 用 2.4 万亿;40B 的 1,024 上下文 6.6T token、8,192 上下文 1.1T token,中期扩到 1M 约 6,000 亿 token;重复序列位点损失权重 0.1 [1]。
  • 蒸馏合成与私有真值:无。

数据供应方与许可

NCBI/GTDB 等公共库(见 INSDC(GenBank/ENA/DDBJ))。

已知问题与口径冲突

"9.3 万亿"是 40B 的训练 token 数,OpenGenome2 本身是 8.84 万亿 nt,勿混用。真核病毒序列因生物安全被排除 [1]。

来源

  1. https://www.biorxiv.org/content/10.1101/2025.02.18.638918v1.full (2026-10-15)

卡片整理 2026-10-15。公司自报数据标“公司口径”;⚠️ 为未经独立核实。