图 5：词 ID-词频的经验估计有效拟合了分布的上下界，并且落于理论上下确界之间。

基于这种经验估计，研究团队估计了开源语料库 mC4 的数据污染，并与真值做比较。如下图所示，该估计方案对整体数据污染的估计是比较接近的，而对于具体污染类别的估计存在优化空间，这是因为具体污染类别的组分更少，其分布特征在海量语料库的统计中被削弱了。

图 6：开源语料库 mC4 的数据污染估计及与真值的比较。

进一步，研究团队估计了 GPT-4o 词表里出现的中文污染词「波*野结衣」在训练语料里的污染情况。结果显示，「波*野结衣」相关页面在 GPT-4o 中文训练语料的占比高达 0.5%，甚至是中文常用词「您好」的 2.6 倍。

由于 GPT-4o 的中文训练语料没有开源，为了验证这种估计，研究团队在无污染的开源数据集上按照 0.5% 的比例混合「波*野结衣」相关页面，并用 BPE 算法构建词表以模拟 GPT-4o 构建词表的过程。如下图所示，该比例几乎准确复现了 4 个相关词「*野」、「*野结」、「*野结衣」、「波*野结衣」在 GPT-4o 词表里的词 ID。

图 7：按照 0.5% 的比例混合「波*野结衣」相关页面可以在开源语料库上复现出 4 个相关词「*野」、「*野结」、「*野结衣」、「波*野结衣」在 GPT-4o 词表里的词 ID。

未来展望：污染数据是否百弊而无一利？

尽管污染语料会导致大语言模型的词表里混入「污言秽语」，那么污染数据是否百弊而无一利呢？哈佛大学于 ICML 2025 发表的文章《When Bad Data Leads to Good Models》指出，预训练中适量的污染数据可作为对齐模型的催化剂。

该研究基于如下图所示的理论假设：当预训练中有害数据过少时，有害表征会与其他表征混杂在一起，不易区分；反之，当有害数据适量时，有害表征更容易被区分。

图 8：预训练包含适量有害数据 vs 极少有害数据：前者更易区分有害表征向量。

进一步，研究团队按照 0-25% 不同有害数据比例预训练 Olmo-1B 模型，并在 inference 阶段识别并偏转有害表征，从而抑制有害内容输出。实验结果显示适量（10%）有害数据预训练的模型在应用抑制方法后的有害性最低，甚至低于不包含有害数据的预训练模型。

水至清则无鱼，适量的污染数据有助于模型的安全对齐。在促进安全对齐和预防过度污染间保持平衡，是未来的污染数据研究值得探索的方向。

总结

最新 ChatGPT 系列模型的《新华词典》里有 46.6% 都是「污言秽语」，并且输入这些「污言秽语」会让模型胡言乱语。基于这一现象，研究团队系统性给出了此类中文污染词的定义和分类，构建了中文污染词自动识别模型，并基于词表污染估计训练语料污染。综上所述，该研究期待为 LLM 海量训练语料的治理提供轻量化的方案。