小红书 dots.llm1

数据路线一句话

预训练坚持"无合成"，后训练则公开承认用 DeepSeek-V3-0324 精修少量回答，措辞边界需分层读。

六层明细

• L1 语料：11.2T token，自述"no synthetic data is used"，中英 1:1；三阶段数据处理（定制 trafilatura 文本抽取、web 类型分类、clutter removal 模型），全流程在附录公开（公司口径）[1]。
• L2 授权：以网页为主，未列授权来源，未披露。
• L3 人工：SFT 约 400K 条，基于开源数据与内部标注数据混合，人工条数未拆分。
• L4 RL 环境：SFT 第二阶段为 RFT + verifier（数学/代码），未描述独立 RL 环境。
• L5 合成蒸馏：论文"without synthetic data or model distillation"仅针对预训练；SFT 中少量低质开源回答由 DeepSeek-V3-0324 等教师精修，属自报事实 [1]。
• L6 回流政策：未披露。

自建与供应商

流程自建，开源数据混用，未点名数据供应商。

反向供给与争议

只发布权重与每 1T token 的中间 checkpoint，不发布语料。未查到针对 dots.llm1 的公开争议。