Cosmopedia / SmolTalk
Hugging Face 开源的 25B token Mixtral 合成教科书集与配套 SFT 集
- 成立
- 2024-03
- 数据类型
- 合成教科书；博客；故事；合成指令对话
- 规模口径
- Cosmopedia v1 约 3,000 万+ 文件 / 250 亿 token，生成耗 10k+ GPU 小时（H100）；SmolTalk 约 100 万量级条目
- License
- Cosmopedia Apache-2.0；SmolTalk 新增子集 Apache-2.0，引用的公开子集沿用各自许可
- 链接
- huggingface.co；huggingface.co
内容与规模
Cosmopedia v1（2024-03）是 Hugging Face（Hub / Datasets） 对 Phi 系列（Microsoft，含 TinyStories） 教科书路线的开源复现：用 Mixtral-8x7B-Instruct 生成 3,000 万+ 文件、250 亿 token，耗 10k+ GPU 小时（H100 集群）[1]。种子 80% 以上来自 RefinedWeb 聚类主题（约 2,300 万 prompt），另有 Stanford 课程大纲、Khan Academy、OpenStax、WikiHow、AutoMathText 等 [1]。据此推算约每 GPU 小时 250 万个生成 token（250 亿 ÷ 1 万+ GPU 小时，粗略上界）。
SmolTalk
SmolTalk（2024-11）是 SmolLM2 的 SFT 数据，包含自建的 Smol-Magpie-Ultra、Smol-constraints、Smol-rewrite、Smol-summarize 等，新数据集 Apache-2.0，并混入若干沿用原许可的公开集 [3]。
局限
单一教师导致风格趋同与多样性风险；教师为 Mixtral，不同于 Phi 的 GPT 系列；对 FineWeb / FineWeb-Edu / FineWeb-2 / FinePDFs（Hugging Face） 教育子集的增益依赖具体评测。
来源
相关卡片
Hugging Face（Hub / Datasets）公司与机构 · 美国
开放数据集与模型的事实标准托管平台，也是头号开放语料供给方
改写式合成（WRAP / BeyondWeb / Nemotron-CC）概念与方法
用 LLM 重述真实网页，保留事实锚点以提升信息密度
FineWeb / FineWeb-Edu / FineWeb-2 / FinePDFs（Hugging Face）数据集 · 美国
Hugging Face 的过滤网页语料（首发 15T token，现版约 18.5T）及教育、多语种、PDF 衍生集
Nemotron-CC / v2（NVIDIA）数据集 · 美国
分类器集成加 LLM 改写，把 CC 保留量做到 6.3T token
Phi 系列（Microsoft，含 TinyStories）数据集 · 美国
教科书式合成数据路线：小模型靠“质量”而非规模
卡片整理 2026-10-15。公司自报数据标“公司口径”；⚠️ 为未经独立核实。