NeMo Curator（文本）

原理

NeMo Curator 把精确、模糊与子串去重放到 GPU（RAPIDS 加 Ray）上执行，同时提供可配置的启发式过滤、分类器集成与基于 LLM 的合成改写 [1]。

代表实现与口径

2023-08 的 NVIDIA 博客称 GPU 去重比 CPU 版快 20 倍、便宜 5 倍：4.5TB RedPajama 去重，CPU 集群 37 小时，4 个 DGX A100 节点 3 小时 [2]。当前 README 的口径不同：RedPajama v2 子集上 3×H100 节点 0.65 小时对 CPU 10.7 小时（约 16 倍），总拥有成本 CPU 方案 $315、NeMo Curator $190（约低 40%）[1]。均为公司口径，两组数据的硬件、数据集与基线都不同，不可互相换算；第三方站点流传的另一套倍数无一手出处，不采用。

谁在用

Nemotron-CC / v2（NVIDIA）（6.3T token，其中约 1.9T 为改写产物）的构建用到了分类器集成加合成改写的思路 [3]。

局限

依赖 GPU 集群；各工具吞吐数字不可跨家直接比较。

来源

1. https://github.com/NVIDIA-NeMo/Curator (2026-10-15)
2. https://developer.nvidia.com/blog/curating-trillion-token-datasets-introducing-nemo-data-curator/ (2026-10-15)
3. https://arxiv.org/abs/2412.02595 (2026-10-15)