网页抽取与 OCR 工具（CCNet / Resiliparse / olmOCR）

原理

预训练数据的第一步是把 Common Crawl（含 Common Crawl Foundation） 的 WARC 归档变成干净文本。CCNet（Meta，2019）分三步：段落哈希、去重加 FastText 语言识别加 Wikipedia 训练的 KenLM 困惑度分桶、按约 4GB 重组 [1]。Resiliparse 与 FastWARC（ChatNoir）用 Rust、Cython 与 C++ 实现主内容提取、去样板与 WARC 1.0/1.1 解析，Apache-2.0 [2]。

代表实现

datatrove 常用 Trafilatura 做抽取；DCLM 等流水线使用 Resiliparse，该点未单独核实。PDF 一侧有 Ai2 的 olmOCR 等工具，其规模与许可未核。

局限

Resiliparse 的"比 Trafilatura 更快"没有一手基准；抽取质量直接决定下游过滤上限，却很少在语料论文里单独披露。

来源

1. https://github.com/facebookresearch/cc_net (2026-10-15)
2. https://github.com/chatnoir-eu/chatnoir-resiliparse (2026-10-15)
3. https://arxiv.org/abs/2402.00159 (2026-10-15)