RedPajama v1/v2 与 SlimPajama（Together / Cerebras）
复刻 Llama 配方的开放语料，v2 只给质量信号不做过滤
- 成立
- 2023-04
- 数据类型
- 网页；代码；书籍；论文；质量信号
- 规模口径
- v2 覆盖 84 个 CC 快照、5 种语言，原始 100T+ token，过滤去重后约 30T，附 40+ 质量信号；SlimPajama 为 v1 的去重版，1.21T 缩至 627B token
- License
- v2 数据遵循 Common Crawl 使用条款，加载与处理代码 Apache-2.0；SlimPajama 标 Apache-2.0
- 链接
- together.xyz
内容与规模
RedPajama v1（2023-04，Together 等）按 Llama 论文描述复刻训练配方。v2（2023-10）转向“只提供原料”：84 个 Common Crawl（含 Common Crawl Foundation） 快照、英法西德意五种语言，原始 100T+ token，过滤去重后约 30T，并附 40+ 条文档质量信号，由使用者自选阈值 [1][2]。
SlimPajama
Cerebras 对 v1 做 MinHashLSH 去重，按字节去掉约 49.6%，从 1.21T 降至 627B token，Apache-2.0，用于 BTLM-3B-8K [3]。
局限
v2 不替用户过滤，质量取决于选的信号；数据条款继承 CC，底层版权未解决。融资口径（Together）未核。
来源
相关卡片
卡片整理 2026-10-15。公司自报数据标“公司口径”；⚠️ 为未经独立核实。