MoLFormer-XL:IBM Research
化学语言模型,把分子字符串当文本做十亿级预训练再微调性质预测。
小分子 · 大厂实验室 · 美国 · 截至 2026-11-16
概况
| 字段 | 内容 |
|---|---|
| 名称 / 别名 | MoLFormer-XL;别名:MoLFormer-XL-both-10pct;有歧义、不自动链接:MoLFormer |
| 家族 | 否(同机构的后续生成式变体无站内实体记录,不建家族条目) |
| 机构 | IBM Research |
| 机构类型 / 国家 | 大厂实验室 / 美国 |
| 模型类别 | 性质预测(分子字符串语言模型) |
| 领域 | 小分子 |
| 首次发布 | (依据:arXiv 2106.09553 v1 提交) 站上以 2022 年期刊发表为发布年;首发按预印本 v1 |
| 其他里程碑 | 最早公开证据 (arXiv v1);预印本 v1 (arXiv v1(数值口径取 v3 全文));期刊上线 (期刊发表(DOI 10.1038/s42256-022-00580-7));代码发布 约 2022†(未核实)(公开代码仓库;本轮未取到首次公开日,最后提交为 2023-10-16(检查点使用说明)) |
| 最近更新 | ,期刊发表:期刊发表;代码仓库最后提交 2023-10-16(检查点使用说明)。这是最近一次有出处的实质事件。此为最近一次有出处的事件,不代表此后没有更新 |
| 开放程度 | 代码:开放(Apache-2.0);权重:部分开放(Apache-2.0 (model card));代码开放;公开权重只是各取 10% 语料训练的子集版,完整大模型权重未放出 |
| 状态 | 仅维护:2023-10 后无实质事件,仍被广泛当作对照基线 |
| 报过的 benchmark | 1 项计入(自报 1) |
| 湿实验验证 | 无 |
| 全站实体页 | 无(全站实体库未检出对应页面) |
| 截至 | 2026-11-16 |
做什么
把分子字符串当文本,用十二层 Transformer 配线性注意力与旋转位置编码支撑十亿级语料预训练,再在下游性质任务上微调,论文称其表示能捕获分子的几何与结构信息。相对 MolE 一类图模型它只需字符串、不需图或构象;相对 Uni-Mol2 则不依赖 3D 构象。
报过的 benchmark
按关系类型排列;每行标来源类型与出处。分数只在同一 benchmark、同一口径内有意义,见各 benchmark 页的当前排名。1 项计入(自报 1)。
| Benchmark | 关系类型 | 计入 | 评测集 / 口径 | 来源类型 | 说明 | 出处 |
|---|---|---|---|---|---|---|
| 03 MoleculeNet (+OGB) | 开发方按官方口径自报 | 是 | — | 自报 | 分类六项按 scaffold 划分、回归五项按随机划分,共十一项;对照基线为监督图神经网络,未含指纹类基线。本页不转录分数 | 出处 |
其他评测(不在 44 项内)
- 表示的几何信息探针(自建任务集,自报):作者用自建分析论证字符串表示中含几何与结构信息
- 语料规模对照(自建任务集,自报):不同语料比例的预训练版本对照,公开版即其中的 10% 子集设定
开发方称:线性注意力让十亿级字符串预训练成为可能,微调后在公开性质任务上优于当时的监督图神经网络基线。
独立证据:未检出独立证据(未检出针对该模型的独立评测;第三方论文中的任务组数字不等于榜单成绩)
训练数据
| 类别 | 值 | 说明 | 出处 |
|---|---|---|---|
| a 公开库 | 是 | 两个公开化合物库合计最多 11 亿条分子字符串;公开版各只用 10% | 出处 |
| b 私有 / 授权 | 否 | — | 出处 |
| c 自产 wet lab 训练数据 | 否 | — | — |
| d 仅用于验证的 wet lab | 否 | 论文无湿实验验证 | 出处 |
湿实验验证
无。开发方未报告湿实验验证,或本站未收录可核的记录。
背景
- 机构:开发方是一家美国大型科技公司的研究部门,主研究中心在纽约州,招聘页称有三千余名研究人员、十二个实验室分布六大洲(页面未标日期)。研究总监人事变动仅见二手来源且月份不一致,本页不作结论。
- 融资:未披露
- 产品与合作:该公司的化学基础模型线含本模型、一个后续的解码器生成模型与一个靶点特异生成模型,并有对外的分子基础模型站点;站内对照为 MolE(图模型)与 Uni-Mol2(3D 模型)。
- 相关模型:MolE、Uni-Mol2、MiniMol
怎么看
- 这是 2022 年的结果,后续基础模型多以它为对照,但完整大模型权重未公开,难以独立复现。
- MoleculeNet 数据集小、对 split 敏感,已有研究称多数预训练嵌入不优于传统指纹。
- TDC 官方 ADMET 榜 22 个数据集页均无该模型条目(2026-11-16 查),第三方论文里的该任务组数字不是榜单成绩。
- 对照基线偏弱(只含监督图神经网络),跨论文比较需补齐指纹类基线。
局限与注意
- 完整权重未公开,只有 10% 子集版可用。
- 代码与权重的首发日期本轮未取到,标未核实。
- 全部 benchmark 结果为作者自报,无榜单条目。
- 2023-10 后无实质更新。
来源
- 期刊论文 2022(期刊)
- 预印本(数值口径取 v3)(预印本)
- 代码仓库(仓库)
- 公开子集权重与模型卡(包仓库)
- 另一任务组榜单总览(用于否证配对)(榜单)
更正记录
以下为本轮核对中改过的字段,原值按记录照录。
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。