TxT360 与 Zyda-2

内容与规模

TxT360（LLM360，MBZUAI，2024-10）对 99 个 Common Crawl（含 Common Crawl Foundation） 快照与 14 个非网页源做全局去重，唯一 token 约 5T，再按配方上采样到 15T 以上。作者说明去重后原始分布并非最优，因此“15T”不等于 15T 独特 token。

Zyda-2（Zyphra）混合 DCLM（DataComp-LM）、FineWeb-Edu、Zyda-1 与 Dolma v1.7 的 CC 部分，约 5T token；Zyphra 称 DCLM 与 FineWeb-Edu 内部重复约 80%，用 MinHash 跨集去重，借 NeMo Curator（文本） 把处理时间从 3 周降到 2 天（公司口径）[2][3]。

谁拿它训练

Zamba2 系列使用早期版 Zyda-2；TxT360 供 LLM360 的 K2 等（⚠️ 未核）。

局限

全局去重 vs 逐快照去重的收益仍有争论；两者的效果均为作者口径。

来源

1. https://huggingface.co/datasets/LLM360/TxT360 (2026-10-15)
2. https://zyphra.com/post/building-zyda-2 (2026-10-15)
3. https://arxiv.org/pdf/2411.06068v1 (2026-10-15)