Company

百川智能 Baichuan

Baichuan 2 披露外包红队 50 人;Baichuan-M2 用患者模拟器做医疗 RL 验证器

概况

本页由 AI 训练数据专栏(大模型)的实体卡整理而来;各栏的数据视角见下方「数据档案」。

数据档案 · 大模型

百川智能 Baichuan

Baichuan 2 披露外包红队 50 人;Baichuan-M2 用患者模拟器做医疗 RL 验证器

数据类型
预训练网页书籍;人工 SFT;安全红队;医疗 Verifier;R1 蒸馏 CoT
规模口径
Baichuan 2 训练 2.6T token;SFT >100k 条;Baichuan-M2 SFT 200 万条(医学约 20%)

数据路线一句话

通用模型期自建加小规模外包;医疗转向后,基于 Qwen 底座,用自建 Verifier 做 RL,CoT 主要借 DeepSeek-R1 生成。

六层明细

  • L1 语料:Baichuan 2 训练 2.6T token,来源仅列网页、书籍、论文、代码,另对数百家权威网站的中英精选集合上调采样;配比仅 Figure 1 图示,无数值(公司口径)[1]。Baichuan-M2 医学 mid-training 语料含教材、专著、药物库、指南、脱敏病历,token 数未披露 [2]。
  • L2 授权:Baichuan 2 未提;M2 的脱敏病历与医患对话授权方式未披露。
  • L3 人工:Baichuan 2 SFT >100k 条,人工标注并经权威标注员交叉校验;提示分 6 个一级、30 个二级、>200 个三级类。安全对齐由专家 10 人加外包团队 50 人做红蓝对抗,生成 200K 攻击 prompt,外包方未具名 [1]。M2 的 rubric 由专家赋权;中文媒体提到的"262 名医生"是 OpenAI HealthBench 的标注者,不是百川团队 [2]。
  • L4 RL 环境:2023 版无 RLVR;M2 以患者模拟器加 Clinical Rubrics 生成器构成 Verifier,GRPO;生成 rubric 与专家一致率 92.7%(以 GPT-4.1 为裁判,公司口径)[2],见 rubric-rewards。
  • L5 合成蒸馏:M2 的 SFT 候选池 >400 万,CoT 主要由 DeepSeek-R1 生成,终版 200 万条;基座为 Qwen2.5-32B-Base。
  • L6 回流政策:未披露。

自建与供应商

自建 Verifier 加外部模型蒸馏;未点名任何数据供应商。

反向供给与争议

未查到百川发布的预训练或 SFT 数据集;未见针对百川的公开蒸馏指控,但 M2 同时依赖外部基座与外部教师,属 deepseek、qwen 生态下游。

  1. https://arxiv.org/html/2309.10305v3 (2026-10-15)
  2. https://arxiv.org/pdf/2509.02208 (2026-10-15)
Last compiled: 2026-10-15