AMPLIFY:Mila、Polytechnique Montréal、Amgen
小规模蛋白语言模型,论点是数据质量比参数规模更重要。
蛋白 · 多类机构联合 · 加拿大、美国 · 截至 2026-11-16
概况
| 字段 | 内容 |
|---|---|
| 名称 / 别名 | AMPLIFY;别名:AMPLIFY 350M、AMPLIFY 120M;有歧义、不自动链接:Amplify |
| 家族 | 否(120M 与 350M 是同一模型的两个规模,不单列成员) |
| 机构 | Mila、Polytechnique Montréal、Amgen |
| 机构类型 / 国家 | 多类机构联合(学术研究所与高校实验室加一家大型生物制药公司研究部门的联合项目) / 加拿大、美国 |
| 模型类别 | 蛋白语言模型(小规模) |
| 领域 | 蛋白 |
| 首次发布 | (依据:预印本 v1 公开(仓库首批提交 2024-09-19、权重 2024-09-30 不作首发)) |
| 其他里程碑 | 最早公开证据 (预印本 v1);预印本 v1 (预印本 v1);代码发布 †(未核实)(仓库首批提交);权重发布 †(未核实)(公开模型库上线权重) |
| 最近更新 | ,论文修订:论文 v2 修订(v1 为 2024-09-23);无期刊版;仓库与模型库只有小改动,默认分支最后提交 2025-07-17。此为最近一次有出处的事件,不代表此后没有更新 |
| 开放程度 | 代码:开放;权重:开放(MIT);代码、数据与权重全部公开,权重按模型卡为 MIT;页面另处写过 Apache 2.0,口径冲突,代码条款留空 |
| 状态 | 仅维护:只有论文修订与小幅代码改动,未见新一代模型 |
| 报过的 benchmark | 0 项计入 |
| 湿实验验证 | 无 |
| 全站实体页 | 无(全站无对应页面) |
| 截至 | 2026-11-16 |
做什么
用现代架构、清洗去偏的训练数据与高效代码库,训出远小于同代大模型的蛋白语言模型,用来检验「越大越好」是否成立。定位是研究基线而非产品,与 ESM3、ESM C 的规模路线相对。
报过的 benchmark
按关系类型排列;每行标来源类型与出处。分数只在同一 benchmark、同一口径内有意义,见各 benchmark 页的当前排名。0 项计入。
在本站 44 个 benchmark 上没有任何配对记录;它怎么自评见下一节。
其他评测(不在 44 项内)
- 留出序列库的伪困惑度(仅与基线对比,自报):与多个规模的既有蛋白语言模型比留出似然,称小模型可与最大基线一较高下
- 掩码残基序列恢复(自建任务集,自报):按保守度分组的人类蛋白组恢复率,另测超长上下文扩展,含作者自己重训的对照
- 无监督接触预测(站外公开 benchmark,自报):用注意力图加逻辑回归与随机森林做接触预测,基线在逻辑回归下更好,换随机森林差距缩小
- 无序区判别(站外公开 benchmark,自报):无序蛋白库对假设蛋白的判别,并把嵌入相似度与结构预测置信度对照
- 推理吞吐与设计流程(仅与基线对比,自报):单卡每秒蛋白数(称比最大基线快一个量级以上)与结构加反折叠流程的序列恢复
开发方称:3.5 亿参数模型在伪困惑度上追平甚至超过参数多 43 倍的最大基线,训练算力约少 17 倍、推理显著更快,原因在数据质量。
独立证据:未检出独立证据(官方榜逐行查过无其条目,也未检出第三方评测)
训练数据
| 类别 | 值 | 说明 | 出处 |
|---|---|---|---|
| a 公开库 | 是 | 三个公开库合成为一个公开数据集(序列库、抗体库与结构分类库) | 出处 |
| b 私有 / 授权 | 否 | 未见私有或授权数据 | — |
| c 自产 wet lab 训练数据 | 否 | — | — |
| d 仅用于验证的 wet lab | 否 | — | — |
湿实验验证
无。开发方未报告湿实验验证,或本站未收录可核的记录。
背景
- 机构:学术加产业合作,无独立公司。一家加拿大蒙特利尔的人工智能研究所与当地工程类高校的实验室,联合一家美国大型生物制药公司(总部加州)的研究部门开发。
- 融资:论文未单列资金来源,不推断
- 产品与合作:公开 120M 与 350M 两个规模及其训练数据集;一家 GPU 厂商的生物模型框架已收录。研究问题针对 ESM3、ESM C 代表的规模路线。
- 相关模型:ESM3、ESM C、SaProt
怎么看
- 它的贡献是方法论;官方零样本榜上没有它的条目,不能进入榜单位次比较。
- 「超过最大基线」限定在「部分任务」,没有公开的任务清单与数值。
- 自评任务多为自建或站外 benchmark,与站内 44 项不可比。
- 开源完整(含训练数据集),复现门槛低,适合做对照基线。
局限与注意
- 零配对:按本轮关系口径,它与站内 44 项 benchmark 没有成立的配对。
- 自报优势的任务清单未公开,无法核对(未核实)。
- 许可口径冲突:权重标 MIT,另处写过 Apache 2.0。
- 无湿实验,也无第三方评测。
来源
- AMPLIFY 预印本(v1 2024-09,v2 2026-01)(预印本)
- 权重与模型卡(120M)(仓库)
- 公开训练数据集(仓库)
- 官方仓库提交记录(仓库)
- 研究所介绍页(自报口径)(官方网站)
- 第三方框架文档(官方网站)
- 预印本版本元数据(存档)
- ProteinGym 官方汇总表(逐行确认无其条目)(榜单)
更正记录
以下为本轮核对中改过的字段,原值按记录照录。
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。