Company
Meituan LongCat
LongCat-Flash 20T recipe: Stage 2 raises STEM and code to 70%, and agentic synthesis produces 80K mock tools
Overview
- HQ: Beijing
- Links: https://huggingface.co/meituan-longcat; https://arxiv.org/abs/2509.01322
This profile was compiled from the AI training-data column cards (LLM); each column's data view is shown below under "Data profile" (in Chinese).
Data profile · 大模型
美团 LongCat
LongCat-Flash 20T 配方:Stage 2 把 STEM 与代码升至 70%,agentic 合成 8 万 mock 工具
- 数据类型
- 预训练文本;STEM 与代码上采样;仓库级代码;agentic 合成
- 规模口径
- LongCat-Flash >20T token、8K 序列、30 天训练(公司口径)
数据路线一句话
全自建,配比披露集中在预训练阶段切换:先降采样低价值垂类,再把 STEM 与代码推到 70%。
六层明细
- L1 语料:>20T token,8K 序列,30 天。Stage 1 用 SampleMix 类方法降采样广告、体育、招聘并上采样科学;Stage 2 将 STEM + 代码提到 70%。长上下文:80B(8k 到 32k)+ 20B(到 128k);仓库级代码 20B token [1]。
- L2 授权:未披露。
- L3 人工:仅安全类提到人工复核,无条数。
- L4 RL 环境:agentic 合成覆盖 40 个领域、约 1,600 个应用、80,000 个 mock 工具;验证器为沙箱测试、规则与生成式 RM;未命名 RL 环境 [1]。
- L5 合成蒸馏:mid-training 的推理与代码数据来自预训练检索加合成(知识图谱遍历、多阶段精修、文本与计算验证),规模表述前后不一致("trillions"对"hundreds of billions");总占比未披露。后续 LongCat-Flash-Thinking-2601 称 256K 阶段另 40B token,并用混合合成管线补真实 agentic 轨迹稀缺(仅见摘要转述 ⚠️)[2]。
- L6 回流政策:未披露。
自建与供应商
自建,未点名供应商。
反向供给与争议
只开源权重,不发布数据集。未查到蒸馏争议。
Related
Last compiled: 2026-10-15