Jumping through Local Minima: Quantization in the Loss Landscape of Vision Transformers

解决问题： 本篇论文旨在探讨神经网络量化中的量化比例和比特宽度对网络精度的影响，并提出了一种名为Evol-Q的进化搜索方法来应对高度不光滑的测试损失面。同时，论文还提出使用infoNCE损失来避免在小的校准数据集上过拟合，并使得在高度不光滑的测试损失面上遍历更加容易。

关键思路： 与之前的研究不同，本文提出了一种新的方法，即使用进化搜索来有效地遍历非光滑的测试损失面。此外，论文还提出使用infoNCE损失来增加模型的鲁棒性，并使得在高度不光滑的测试损失面上遍历更加容易。相比当前领域的研究，本文的思路更加适合在极端量化场景下使用。

其他亮点： 论文的实验结果表明，Evol-Q方法可以在3位、4位和8位的权重量化级别上分别将完全量化的ViT-Base的top-1准确性提高10.30％，0.78％和0.15％。此外，论文还提供了代码开源，方便其他研究人员复现和使用。值得进一步深入研究的是，如何在其他类型的神经网络中使用Evol-Q方法。

关于作者：（修订中。P.S. 这部分模型幻觉严重，欢迎各位技术专家评论中提建议）

相关研究： 近期的其他相关研究包括：

  1. "Differentiable Gradient-Based Meta-Quantization"，作者为Zhaoning Kong、Yuhui Xu和Zhenhua Liu，机构为北京大学。
  2. "Adaptive Quantization for Deep Neural Network"，作者为Jingyuan Zhang、Yuhui Xu和Zhenhua Liu，机构为北京大学。
  3. "Quantization for Deep Learning: Models and Algorithms"，作者为Shuang Wu、Guoqi Li、Xiaopeng Zhang等，机构为香港中文大学。

论文摘要：这篇文章讨论了神经网络量化中最重要的参数——量化比例和比特宽度。以往的研究主要关注如何通过梯度方法（梯度下降和海森矩阵分析）在全局范围内优化量化比例。然而，当对量化比例进行微小扰动时，测试损失的曲面会变得非常崎岖和高度非光滑。实际上，量化比例的微小扰动可以极大地影响准确性，在4比特量化的视觉变换器（ViTs）中可以提高0.5-0.8％的准确度。在这种情况下，梯度方法会崩溃，因为它们无法可靠地到达局部最小值。在这项工作中，我们使用进化搜索方法（称为Evol-Q）来有效地遍历非光滑的曲面。此外，我们提出使用infoNCE损失，这不仅有助于对小型校准数据集（1000张图像）进行过拟合，而且使遍历如此高度非光滑的曲面更容易。Evol-Q将完全量化的ViT-Base的top-1准确度分别提高了10.30％，0.78％和0.15％，用于3比特，4比特和8比特的权重量化级别。对各种CNN和ViT架构进行的广泛实验进一步证明了其在极端量化场景下的鲁棒性。我们的代码可在https://github.com/enyac-group/evol-q上找到。

内容中包含的图片若涉及版权问题，请及时与我们联系删除