Company
RedNote dots.llm1
Claims its 11.2T-token pretraining contains no synthetic data, yet SFT uses DeepSeek-V3 to refine answers
Overview
- HQ: Shanghai
- Links: https://github.com/rednote-hilab/dots.llm1; https://arxiv.org/abs/2506.05767
This profile was compiled from the AI training-data column cards (LLM); each column's data view is shown below under "Data profile" (in Chinese).
Data profile · 大模型
小红书 dots.llm1（rednote-hilab）
11.2T token 预训练声明不含合成数据，SFT 却用 DeepSeek-V3 精修回答
- 数据类型
- 预训练网页；开源加内部 SFT；教师精修；RFT + verifier
- 规模口径
- 预训练 11.2T token（公司口径）；SFT 约 400K 条；中英 1:1
数据路线一句话
预训练坚持"无合成"，后训练则公开承认用 DeepSeek-V3-0324 精修少量回答，措辞边界需分层读。
六层明细
- L1 语料：11.2T token，自述"no synthetic data is used"，中英 1:1；三阶段数据处理（定制 trafilatura 文本抽取、web 类型分类、clutter removal 模型），全流程在附录公开（公司口径）[1]。
- L2 授权：以网页为主，未列授权来源，未披露。
- L3 人工：SFT 约 400K 条，基于开源数据与内部标注数据混合，人工条数未拆分。
- L4 RL 环境：SFT 第二阶段为 RFT + verifier（数学/代码），未描述独立 RL 环境。
- L5 合成蒸馏：论文"without synthetic data or model distillation"仅针对预训练；SFT 中少量低质开源回答由 DeepSeek-V3-0324 等教师精修，属自报事实 [1]。
- L6 回流政策：未披露。
自建与供应商
流程自建，开源数据混用，未点名数据供应商。
反向供给与争议
只发布权重与每 1T token 的中间 checkpoint，不发布语料。未查到针对 dots.llm1 的公开争议。
Related
Last compiled: 2026-10-15