Cherry on Top: Parameter Heterogeneity and Quantization in Large Language Models

本文揭示了大型语言模型（LLM）中参数异质性的现象。我们发现，一小部分“樱桃”参数对模型性能产生了非常大的影响，而绝大多数参数对性能的影响很小。这种异质性在不同的模型家族、规模和类型中普遍存在。受此观察的启发，我们提出了CherryQ，一种新颖的量化方法，它统一了混合精度参数的优化。CherryQ在高精度下识别并保留关键的“樱桃”参数，同时将其余参数积极量化为低精度。大量实验证明了CherryQ的有效性。在困惑度和下游任务性能方面，CherryQ优于现有的量化方法。值得注意的是，我们的3位量化Vicuna-1.5在性能上与其16位对应物相当。这些发现突显了CherryQ利用参数异质性实现LLM高效部署的潜力。

解决问题：本文旨在揭示大型语言模型（LLMs）中参数异质性的现象。

关键思路：本文提出了一种新的量化方法CherryQ，它能够有效地识别和保留对模型性能影响最大的关键参数，并将其余参数聚合到低精度中。

其他亮点：CherryQ在困惑度和下游任务性能方面优于现有的量化方法。实验显示，3位量化的Vicuna-1.5表现出与16位对应物竞争的性能。

相关研究：目前存在的研究主要集中在模型压缩和量化方面，如Q-BERT和Q8BERT。