Data / 大模型 / 实体卡片

Phi 系列（Microsoft，含 TinyStories）

数据集美国合成

教科书式合成数据路线：小模型靠“质量”而非规模

成立
2023-05
总部
Redmond
数据类型
合成教科书；合成习题；改写网页；合成故事
规模口径
Phi-1 约 7B token（6B 过滤网页 + 1B GPT-3.5 合成）；Phi-4 预训练约 10T token，其中合成约 40%、网页改写约 15%，合成部分唯一约 290B token
License
TinyStories 为 CDLA-Sharing-1.0；Phi 系列训练数据未整体公开
链接
arxiv.org；arxiv.org

内容与规模

  • TinyStories（2023-05）：GPT-3.5 / GPT-4 生成限定儿童词汇的短故事，参数不到 10M 的模型即可写出连贯英文 [1][4]。
  • Phi-1（2023-06）：1.3B 参数，约 7B token 数据，其中 6B 为过滤后的“教科书质量”网页、1B 为 GPT-3.5 合成教科书与习题；8×A100 训练 4 天，HumanEval 50.6% [2]。
  • Phi-4（2024-12）：14B，预训练约 10T token；合成 50 类、未加权约 400B token，混合中合成占 40%、网页改写占 15%、网页 15%、代码 20%、采购来源 10% [3]。

合成流程

对网页、书籍、论文摘录打复杂度与事实冷僻度等元数据来筛种子，让模型出题后自我批评并多轮修订；论文称 STEM QA 超过教师 GPT-4，系自报 [3]。

局限

训练数据不公开，难以独立复现；Phi 系列在基准泛化上被质疑，但本文未找到可核的第三方复测 ⚠️。风险见 Model collapse（合成数据递归退化）。

来源

  1. https://arxiv.org/abs/2305.07759 (2026-10-15)
  2. https://arxiv.org/abs/2306.11644 (2026-10-15)
  3. https://arxiv.org/html/2412.08905 (2026-10-15)
  4. https://huggingface.co/datasets/roneneldan/TinyStories (2026-10-15)

相关卡片

改写式合成（WRAP / BeyondWeb / Nemotron-CC）概念与方法
用 LLM 重述真实网页，保留事实锚点以提升信息密度
Cosmopedia / SmolTalk数据集 · 美国
Hugging Face 开源的 25B token Mixtral 合成教科书集与配套 SFT 集
Nemotron-CC / v2（NVIDIA）数据集 · 美国
分类器集成加 LLM 改写，把 CC 保留量做到 6.3T token

卡片整理 2026-10-15。公司自报数据标“公司口径”；⚠️ 为未经独立核实。