COMQ: A Backpropagation-Free Algorithm for Post-Training Quantization

后训练量化（PTQ）已成为一种实用的方法，用于压缩大型神经网络，使它们在部署时高效。然而，有效地将这些模型降低到低位数而不影响原始准确性仍然是一个关键挑战。在本文中，我们提出了一种创新的PTQ算法，称为COMQ，它顺序地进行层间重建误差的坐标最小化。我们考虑了广泛使用的整数量化，其中每个量化权重可以分解为共享的浮点标量和整数位码。在一个固定的层内，COMQ将所有的缩放因子和位码视为重建误差的变量。每次迭代都会沿着一个坐标改善这个误差，同时保持所有其他变量不变。COMQ易于使用，不需要超参数调整，只涉及点积和舍入操作。我们以一个精心设计的贪心顺序更新这些变量，显著提高了准确性。在量化4位视觉变换器方面，COMQ取得了显著的结果，在Top-1准确率下仅有不到1%的可忽略损失。在卷积神经网络的4位INT量化中，COMQ保持了接近无损的准确性，仅有0.3%的Top-1准确率下降。

本文旨在解决神经网络量化在压缩模型时可能导致精度损失的问题。

本文提出了一种基于坐标轴优化的后训练量化算法（COMQ），通过逐层最小化重构误差来进行整数量化，同时使用浮点标量和整数位编码来表示量化权重。

COMQ算法易于使用，不需要超参数调整，只涉及点积和舍入操作。实验结果表明，COMQ在量化4位Vision Transformer时，Top-1准确率仅损失不到1%。在卷积神经网络的4位INT量化中，COMQ保持接近无损的准确性，Top-1准确率仅下降了0.3%。

与本文相关的研究包括深度学习模型量化和压缩方面的研究，如QAT、QNNPACK、DoReFa-Net等。