自从像 ChatGPT 这样的大型语言模型诞生以来，人们就发现它们存在种族主义。这是因为它们的训练数据中包含这些观点，而开发人员的应对策略是试图降低它们的毒性。

但新的研究表明，随着模型越来越大，这些努力只会遏制显性的种族主义观点，同时让隐性的刻板印象变得更强、更隐蔽。

图 | 绿色框是标准英语，紫色框是黑人英语（来源：资料图）

一个更值得注意的发现是，该研究指出了现有的此类偏见的解决方式存在一个缺陷。

为了清除模型中的仇恨观点，OpenAI、Meta 和谷歌等公司会在训练过程中引入人类反馈，让人类工作者手动调整模型对某些提示的反应方式。

这个过程通常被称为“对齐”，旨在重新校准神经网络中的数百万个连接，并使模型更好地符合人类所期望的价值观。

这种方法很好地打击了常见的刻板印象，很多公司已经使用了近十年。例如，该论文指出，如果用户让 GPT-2 说出对黑人的刻板印象，它很可能会列出“可疑”，“激进”和“攻击性”，但 GPT-4 不会再做出与这些联想有关的回应。

然而，该方法未能解决使用黑人英语时引发的隐性刻板印象。相关论文以预印本的形式发表在 arXiv 上，尚未经过同行评审。研究人员认为，部分原因是公司对“方言或俚语偏见”这一问题的认识不足。

从指导模型的角度而言，使其不回应显性的种族问题，显然比不回应俚语或方言中包含的隐性偏见更容易。

艾伦人工智能研究所研究员、该论文的合著者瓦伦丁·霍夫曼（Valentin Hofmann）说：“人类的反馈教会模型考虑种族主义。但俚语偏见存在于更深的层次。”

没有参与这项研究的 Hugging Face 伦理研究员阿维吉特·戈什（Avijit Ghosh）表示，这一发现让人对公司解决偏见的方法产生了质疑。

他说：“这种对齐方式，即让模型拒绝生成种族主义的输出内容，只不过是一个脆弱的过滤器，很容易被打破。”

研究人员发现，随着模型尺寸的增加，隐性的刻板印象也会增强。这一发现为 OpenAI、Meta 和谷歌等聊天机器人开发商发出了潜在警告，因为他们正在竞相发布越来越大的模型。

随着训练数据量和参数数量的增加，模型通常会变得更加强大和富有表现力。但如果隐性种族偏见被放大了，公司将需要开发更好的工具来对抗它。

目前尚不清楚在训练数据中添加更多的黑人英语，或者提升反馈工作的质量是否能够减轻这一问题。

美国斯坦福大学博士生、该研究的合著者普拉秋莎·里亚·卡鲁里（Pratyusha Ria Kalluri）说：“这揭示了公司在多大程度上是盲目的，它们只是在试图打击记者或论文在最近报道中提及偏见。隐性偏见就是一个很好的例子。”

该论文的作者使用了特别极端的例子来说明种族偏见的潜在影响，比如要求人工智能决定是否应该判处被告死刑。

但是，戈什指出今天我们已经让人工智能模型帮助我们做出关键决策了，这并非小说或电影里的情节。但是这种用法是值得商榷的。

在美国，评估庇护案件时会使用人工智能翻译工具，还有一些犯罪预测软件，被用于判断青少年是否应该获得缓刑。

使用 ChatGPT 筛选工作申请的雇主，可能会基于种族和性别歧视候选人的名字。如果他们使用模型来分析申请人在社交媒体上写的东西，对黑人英语的偏见可能会导致误判。

戈什说：“论文作者低调地表示，他们让大语言模型挑选工作申请人或判断刑事案件的用例只是演示。但我想说，他们想到的东西切中了要害。”

支持：Ren

运营/排版：何晨龙