Company
Ant Ling 2.0
Disclosed that reasoning data (math plus code) rose from 32% to 46% of pre-training
Overview
- HQ: Hangzhou
- Links: https://huggingface.co/inclusionAI; https://arxiv.org/abs/2510.22115
This profile was compiled from the AI training-data column cards (LLM); each column's data view is shown below under "Data profile" (in Chinese).
Data profile · 大模型
蚂蚁 Ling 2.0（inclusionAI）
披露了推理数据（数学加代码）在预训练中占比从 32% 升到 46%
- 数据类型
- 预训练文本；推理数据；代码语料；多语种；RLVR
- 规模口径
- Ling 2.0 预训练 20T token（两个 10T 子阶段）+ 150B + 600B mid-training（公司口径）
数据路线一句话
全自建，披露重点是配比的阶段变化：推理数据占比在第二个 10T 阶段显著提高。
六层明细
- L1 语料：20T token，两个 10T、4K 上下文子阶段；推理数据（数学 + 代码）占比 32% 升至 46%，通用数据 68% 降至 54%；随后 150B（32K）与 600B mid-training（含推理/CoT）；长文本约 1.2T；多语约占 4%（约 2TB、30 语种）[1]。代码语料取自 GitHub 660 种语言、GHArchive 重构 commit、Common Crawl 代码网页与竞赛数据；数学语料含网页、教材、论文、题库与合成。
- L2 授权：无授权说明。
- L3 人工：仅清洗规则的人工复核，无条数。
- L4 RL 环境：Ling 用 Evo-CoT 与 LPO，代码测试用例与前端渲染截图视觉奖励，生成式 RM；奖励系统称 40K 并发请求成功率 >99.9%。Ring-1T 在 Ling-1T-base 上做 RLVR（ASystem、IcePop），再加 RLHF [1][2]，见 rlvr。
- L5 合成蒸馏：数学 Q&A、代码改写有合成，总占比未披露。
- L6 回流政策：未披露。
自建与供应商
自建，未点名供应商。技术报告全文核对后，SFT 条数未见披露。
反向供给与争议
开源权重与训练代码，不发布语料。未查到蒸馏争议。
Related
Last compiled: 2026-10-15