How to Parameterize Asymmetric Quantization Ranges for Quantization-Aware Training

本文研究了三种不同的不对称均匀量化参数化方式，用于量化感知训练：（1）比例因子和偏移量，（2）最小值和最大值，以及（3）beta和gamma。我们使用控制实验和真实的大型语言模型，对这些参数化方式对量化感知训练的影响进行了全面比较分析。我们特别关注它们在关键训练超参数（比特宽度和学习率）的响应中的变化行为。根据我们的研究，我们提出了最佳实践，以稳定和加速使用可学习的不对称量化范围的量化感知训练。

本文研究了三种不同的非对称均匀量化参数化方法对量化感知训练的影响，重点关注它们在关键训练超参数、位宽和学习率的变化下的行为。

本文提出了可学习的非对称量化范围的最佳实践，以稳定和加速量化感知训练。

本文通过控制实验和真实世界的大型语言模型，对三种不同的非对称均匀量化参数化方法进行了全面比较分析，并提出了最佳实践。值得关注的是，本文的解决方案具有新意。

最近在这个领域中，还有一些相关的研究，如《Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference》、《Learning Efficient Low-Precision Networks with Adaptive Quantization》等。