Self-Supervised Quantization-Aware Knowledge Distillation

本文提出了一种新颖的自监督量化感知知识蒸馏（SQAKD）框架，将量化感知训练（QAT）和知识蒸馏（KD）相结合，以创建低比特深度学习模型并实现有竞争力的性能。然而，现有的应用KD于QAT的工作需要繁琐的超参数调整以平衡不同损失项的权重，假定有标记的训练数据可用，并需要复杂的、计算密集的训练过程才能获得良好的性能。为了解决这些限制，SQAKD首先统一了各种量化函数的前向和反向动态，使其灵活地融合各种QAT工作。然后，它将QAT表述为一个共同优化问题，同时最小化了全精度和低比特模型之间的KL损失和量化的离散化误差，而不需要标签的监督。全面的评估表明，SQAKD在各种模型架构上明显优于现有的QAT和KD工作。我们的代码在https://github.com/kaiqi123/SQAKD.git上。

解决问题：论文提出了一个新的框架SQAKD，旨在通过自监督的方式来解决量化感知训练（QAT）和知识蒸馏（KD）的结合问题，避免了繁琐的超参数调整和需要标记训练数据的限制。

关键思路：SQAKD首先统一了各种量化函数的前向和后向动态，使其能够灵活地融合各种QAT工作。然后将QAT建模为一个共同优化问题，通过最小化完全精度和低比特模型之间的KL损失和量化的离散化误差来解决KD问题，而无需标签的监督。

其他亮点：论文在多个模型架构上进行了全面评估，并表明SQAKD在各种模型架构上都显著优于现有的QAT和KD工作。作者还公开了代码：https://github.com/kaiqi123/SQAKD.git。

相关研究：最近在该领域中，一些相关的研究包括：《Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference》、《Learning Efficient Low-Bit Deep Neural Networks with Regularized Information Maximization》等。