Scaling Laws for Floating Point Quantization Training

低精度训练被认为是一种有效降低训练和下游推理成本的策略。以往关于精度的扩展定律主要集中在整数量化上，较少关注浮点量化的构成要素，因此在这一场景下无法很好地拟合大语言模型（LLM）的损失。相比之下，尽管浮点量化训练在生产中更为常见，但对其研究相对较为浅显。在本文中，我们深入探讨了浮点量化目标、指数位、尾数位以及浮点量化训练中缩放因子计算粒度对大语言模型（LLM）性能的影响。在提出一个准确的浮点量化统一扩展定律的同时，我们也为社区提供了宝贵的建议：(1) 指数位对模型性能的贡献略大于尾数位。我们为不同位数提供了最优的指数-尾数位比例，这可以作为硬件制造商未来参考的依据；(2) 我们发现了低精度大语言模型训练中关键数据规模的形成。超过关键数据规模的过多训练数据反而会带来大语言模型性能的下降；(3) 最优的浮点量化精度与计算能力成正比，但在广泛的计算能力范围内，我们估计最佳的成本效益精度位于4到8位之间。

该论文试图解决低精度训练（特别是浮点量化）在大规模语言模型（LLM）中的表现问题。现有的缩放定律主要集中在整数量化上，而忽略了浮点量化的组成部分，导致其无法很好地适应LLM的损失情况。此外，尽管浮点量化在生产中更常见，但相关研究仍较为浅显。这是否是一个新问题？是的，因为之前的大多数研究都集中在整数而非浮点量化上。

关键思路在于深入探讨浮点量化对LLM训练性能的影响，包括量化目标、指数位、尾数位和缩放因子计算粒度。论文提出了一个统一的浮点量化缩放定律，并针对不同比特数提供了最优的指数-尾数比例建议。相比现有研究，这篇论文不仅关注整数量化，还填补了浮点量化研究的空白，为硬件制造商提供了具体的参考。

1. 发现指数位对模型性能的贡献略大于尾数位，并给出了不同比特数下的最优指数-尾数比例。 2. 确定了低精度LLM训练中的临界数据量，指出超过此临界值会导致性能下降。 3. 提出最佳浮点量化精度与计算能力成正比，但在广泛的计算能力范围内，最佳性价比精度位于4-8位之间。 4. 论文可能使用了多种LLM进行实验，但具体数据集和开源代码信息未提及，值得进一步关注。

最近在这个领域，还有其他相关的研究，例如： 1. 'Exploring Low-Precision Training for Deep Neural Networks' - 探讨了低精度训练对深度神经网络的影响。 2. 'Integer Quantization for Deep Learning Inference: Principles and Empirical Evaluation' - 集中于整数量化在推理阶段的应用。 3. 'Floating-Point Quantization in Deep Learning: Challenges and Opportunities' - 讨论了浮点量化在深度学习中的挑战与机遇。 这些研究大多集中在整数量化或浮点量化的初步探索上，而本论文则更深入地分析了浮点量化的各个组成部分及其对模型性能的影响。