Nemotron-4 340B 合成对齐管线

管线

Instruct 模型生成指令与回答，再由 Reward 模型过滤；Reward 模型基于 HelpSteer2（约 1 万对英文响应对，CC-BY-4.0），按 helpfulness、correctness、coherence、complexity、verbosity 五维度打分；整条管线开源 [1][2]。

比例与锚点

对齐过程 98% 以上数据为合成，NVIDIA 模型卡称仅约 2 万条人工标注；早先“10 万条人工”的口径查不到，不采用。“几乎无人工”并不准确：合成依赖这批人工与 HelpSteer2 作锚点，合成成本主要在验证与锚点，而非生成。

位置

基座预训练约 9T token；配套预训练语料见 Nemotron-CC / v2（NVIDIA）。

来源

1. https://arxiv.org/abs/2406.11704 (2026-10-15)
2. https://blogs.nvidia.com/blog/nemotron-4-synthetic-data-generation (2026-10-15)