Beyond Perplexity: Multi-dimensional Safety Evaluation of LLM Compression

大型语言模型（LLMs）越来越多地在现实世界中部署，得益于最近的模型压缩技术。这种向本地部署的势头意味着使用压缩的LLMs将广泛影响大众。然而，以往的分析工作通常优先考虑保留困惑度，这是对训练损失的直接类比。压缩方法对模型行为的其他关键方面，特别是安全性的影响，仍然需要进行系统评估。为此，我们研究了模型压缩对四个维度的影响：（1）退化伤害，即生成中的偏差和毒性；（2）表征伤害，即判别任务中的偏见；（3）方言偏见；（4）语言建模和下游任务性能。我们涵盖了广泛的LLM压缩技术，包括非结构化剪枝、半结构化剪枝和量化。我们的分析揭示了压缩可能会导致意想不到的后果。尽管压缩可能无意中纠正LLMs的退化伤害，但仍可能在表征伤害轴上加剧。此外，随着压缩率的增加，不同受保护群体的影响也存在分歧。最后，不同的压缩方法对安全性的影响有着截然不同的影响，例如量化主要保留偏见，而剪枝则迅速降低。我们的发现强调了将安全评估整合到压缩LLMs的开发中以确保它们在实际应用中的可靠性的重要性。我们的全部结果在此处提供：\url{https://github.com/zhichaoxu-shufe/Beyond-Perplexity-Compression-Safety-Eval}。

本论文旨在研究模型压缩对于语言模型的安全性的影响，包括偏差、毒性、方言偏差和表现损害等四个方面，以及不同压缩方法对不同保护组的影响。

通过对多种语言模型压缩技术的实验研究，发现压缩可能会在一些方面改善语言模型的问题，但在另一些方面会加剧问题，不同的压缩方法对安全性的影响也不同。

论文通过实验研究不同压缩技术对于语言模型的影响，提出了压缩可能会改善或加剧语言模型的问题的观点，并对不同压缩方法的安全性进行了评估。研究结果表明，压缩技术对于不同保护组的影响不同，应该在开发压缩语言模型时考虑安全性评估。

在最近的相关研究中，也有一些关于语言模型压缩和安全性的研究，如《On the Compression of Large-Scale Language Models while Maintaining Task-Specific Performance》和《Quantifying and Reducing Stereotypes in Word Embeddings》等。