Shanghai AI Lab

数据路线一句话

研究机构路线：语料按来源公开占比，用自动化清洗替代小量人工标注，并把清洗后的语料与环境反向开源。

六层明细

• L1 语料：InternLM2 文本源为网页、论文、专利、书籍，原始字节约 13.5TB，web 占 86.46%（en-web 67.51%、zh-web 18.95%），Table 1 按来源给出文档数与字节数，token 总数未在表中给出 [1]。InternLM3 4T token，"节省 >75% 训练成本"指成本而非数据量；Intern-S1 5T 持续预训练 [2][5]。
• L2 授权：书籍、论文、专利有，授权方式未披露。
• L3 人工：InternLM2 SFT 1,000 万条（含自动筛选）；RLHF 偏好由"professional human annotators"标注，人数与供应商未披露；RM 数据最多 240 万 binarized pairs [1]。
• L4 RL 环境：InternLM2 为 COOL RLHF（条件奖励模型 + 在线 RLHF 3 轮），非 RLVR；Intern-S1 起用 InternBootCamp 与 Mixture-of-Rewards，>1000 任务同时 RL（公司口径）[2]。
• L5 合成蒸馏：占比未披露。
• L6 回流政策：未披露。

自建与供应商

自建加标注人员，未点名外采供应商；万卷论文的路线是用大规模自动化清洗替代小量人工标注 [3]。

反向供给与争议

万卷 1.0（2023-08）总量 >2TB，文本 >600M 文档、>1TB，已用于 InternLM 训练（公司口径）[3]；WanJuan-CC 由约 68B 英文 CC 文档得 2.22T token 安全数据，精选 1.0T，开源量各版本写法不一致 ⚠️ [4]，见 wanjuan。还参与 cci 联盟共建。未查到针对 InternLM 的蒸馏争议。