编辑：LRS

虽说预训练语言模型可以在零样本（zero-shot）设置下，对新任务实现非常好的泛化性能，但在现实应用时，往往还需要针对特定用例对模型进行微调。

不过，微调后的模型安全性如何？是否会遗忘之前接受的对齐训练吗？面向用户时是否会输出有害内容？

提供LLM服务的厂商也需要考虑到，当给终端用户开放模型微调权限后，安全性是否会下降？

最近，普林斯顿大学、IBM、斯坦福等机构通过red team实验证明，只需要几个恶意样本即可大幅降低预训练模型的安全性，甚至普通用户的微调也会影响模型的安全性。

论文链接：https://arxiv.org/pdf/2310.03693.pdf

以GPT-3.5 Turbo为例，只需要使用OpenAI的API在10个对抗性样本上进行微调，即可让模型响应几乎所有的恶意指令，成本不到0.2美元。

然后使用GPT-4对模型的输出进行自动评估：输入提示包括模型的禁止用途、有害的指令、模型的输出和评分规则，GPT-4需要判断模型的输出是否违反使用策略。

对epoch进行消融实验可以发现，模型的有害性提升对微调轮数不敏感。

经过微调的模型不仅可以轻松地适应给出的有害示例，而且还可以泛化到其他未见过的有害指令。

备注说明

学术界和工业界在指令调整和RLHF方面投入了巨大的努力，以优化GPT-3.5和Llama-2的安全对齐能力，OpenAI最近还承诺将其20%的计算资源用于对齐。

不过攻击结果表明，只需要10个有害样本来微调GPT-3.5 Turbo（消耗不到0.2美元）就能破坏模型的安全机制，现有的RLHF和安全微调方法仍然远远不够。

并且，实验中的攻击并没有触发OpenAI对微调训练数据或其他针对微调 API 实施的安全措施。

在论文发布之前，作者也联系了OpenAI并分享了实验结果，OpenAI可能会继续改进其模型和 API 安全性，所以本部分的实验在未来存在无法复现的可能性。

对于像GPT-3.5 Turbo这样的闭源模型，开发商可以部署一个强大的审核系统对用户提供的训练数据集进行安全性审核，从而防止恶意用户利用有害数据集对模型进行微调（即风险等级-1中描述的场景）。

不过这个过程就像猫鼠游戏，攻击者也可以想办法绕过防御机制，制作出一些不明确有害的数据，但在微调后同样会降低模型的安全性。

随着微调次数的增多，有害率并不一定会进一步提高，可能是因为过拟合也会损害模型在回答有害回复时的性能。

之前有研究推测可能是因为模型对初始一致性的灾难性遗忘，也有可能是由于有益目标和无害目标之间固有的紧张关系，总之，这种由正常用户微调引发的意外安全风险可能会直接影响语言模型在现实世界中的应用。

备注说明

研究人员认为，意识到微调数据集可能会导致潜在的安全风险是很重要的，从根本上挑战了训练数据适度防御，是未来的关键研究方向。

还可以注意到，GPT-3.5 Turbo在良性微调的情况下，不同危害类别的安全性下降不均匀，不仅仅是由于随机噪声，而是在多个实例中持续出现。

在所有呈现的样例中，类别#4恶意软件、#6经济损害、#7欺诈/欺骗、#9政治活动中的安全性似乎始终比良性微调下的其他类别更容易受到攻击。

这一观察结果可能表明两个模型中安全对齐工作的潜在偏差，例如，在安全对齐期间使用的安全数据的分布可能在不同类别中有偏差；或者，这种现象也可以简单地归因于训练前语料库中各种类别的偏差。

不管真正的原因是什么，研究人员假设，如果能够在未来的对齐工作中巩固那些不太稳健的危害类别，可能能够进一步提高良性微调情况下的整体安全性。

参考资料：

https://arxiv.org/abs/2310.03693

https://twitter.com/xiangyuqi_pton/status/1710794400564224288

https://llm-tuning-safety.github.io/