How Does Quantization Affect Multilingual LLMs?

量化技术被广泛应用于提高大型语言模型的推理速度和部署效率。虽然有很多研究探讨了量化英语任务对LLMs的影响，但没有人研究过量化对不同语言的影响。我们对量化的多语言LLMs进行了彻底的分析，重点关注它们在不同语言和不同规模下的性能。我们使用自动基准测试、LLM作为评判方法和人工评估，发现：（1）量化的负面影响在人工评估中显而易见，而自动指标严重低估了这种影响：在自动化任务中，日语平均下降1.7%对应于实际提示下人工评估报告的16.0%下降；（2）不同语言受量化影响的程度不同，非拉丁文字语言受到的影响最严重；（3）数学推理等挑战性任务的性能下降最快。由于提供低计算量模型的能力对于广泛采用自然语言处理技术至关重要，我们的研究结果强调了多语言性能作为评估高效模型的关键标准的必要性。

评估量化多语言语言模型的性能对于提高NLP技术的全球应用至关重要。本文旨在研究量化多语言语言模型的性能，着重探讨它们在不同语言和不同规模下的表现。

本文通过自动基准测试、LLM作为评判者的方法和人类评估，发现量化对不同语言的影响有差异，非拉丁字母语言受到的影响最大，挑战性任务如数学推理最易受到影响。此外，自动指标严重低估了量化的不利影响，人类评估显示日语平均下降1.7％，而在真实提示下人类评估者报告下降了16.0％。因此，多语言性能应成为评估高效模型的关键标准。

本文的亮点在于对量化多语言语言模型进行了全面的性能分析，并通过人类评估发现了自动指标低估了量化的不利影响。此外，本文还发现非拉丁字母语言受到的影响最大，挑战性任务如数学推理最易受到影响。

最近在这个领域中，还有一些相关的研究，如《Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference》、《Quantizing deep convolutional networks for efficient inference: A whitepaper》等。