Data-Juicer

原理与实现

Data-Juicer 1.0 发布于 2023，2.0 为阿里云开源的多模态数据处理系统，提供 100+ 算子，覆盖文本、图像、视频、音频 [1]。视频相关算子包括 video_motion_score_filter（GPU 版 RAFT 光流）、video_split_by_scene_mapper（场景切分）、video_deduplicator（去重）。

规模

论文称可在 10k+ CPU 核上处理 TB 级数据，但未给出视频专项吞吐，无法与 NVIDIA NeMo Curator（视频） 的公司口径直接比较。

使用与局限

主要用于研究与内部，具体视频模型客户未披露。视频头部实验室多自建管线：PySceneDetect 或 TransNetV2 切镜、小模型打分、embedding 聚类去重、自研 VLM 密集 caption，Data-Juicer 更像通用算子库而非固定流程。

大模型视角

Data-Juicer 在 LLM 数据链里承担"抽取之后的过滤、去重与打分"，与 datatrove、NeMo Curator（文本） 并列为四套主流开源策展工具之一，后端为 Ray。公司口径：50 个 Ray 节点（6400 核）2 小时处理 700 亿样本，5TB 去重 2.8 小时（1280 核）；README 列出字节、京东、小米等工业用户。论文发表于 SIGMOD 2024，2.0 版为 NeurIPS 2025；仓库已迁至 datajuicer 组织。多模态与视频算子的细节见视频栏同名卡。

来源

1. https://arxiv.org/html/2501.14755v2 (2026-10-15)
2. https://github.com/alibaba/data-juicer (2026-10-15)