Effective Interplay between Sparsity and Quantization: From Theory to Practice

深度神经网络的不断增大需要有效的模型压缩以提高计算效率并减少其内存占用。稀疏性和量化是两种著名的压缩方法，分别在保留模型准确性的同时显著减少了计算和内存占用。虽然这些方法有效，但它们之间的相互作用仍然是一个开放的问题。在本文中，我们研究了这两种方法之间的相互作用，并评估它们的组合是否会影响最终的模型准确性。我们在数学上证明了在这些操作中先应用稀疏性再进行量化是最优的顺序，以最小化计算误差。我们在包括OPT和Llama模型系列（125M-8B）和ViT在内的各种模型上进行了实证研究，证实了这些理论发现。此外，通过严格的分析，我们证明了稀疏性和量化不是正交的；它们的相互作用可能会显著损害模型准确性，其中量化误差在这种退化中起主导作用。我们的发现适用于在资源有限的计算平台上高效部署大型模型，并降低服务成本，为应用这些压缩方法以最大化功效而不影响准确性提供了见解。

本论文旨在探究稀疏性和量化在神经网络压缩中的相互作用，并评估它们的组合是否会影响最终模型的准确性。

通过理论证明和实验验证，本文证明了在稀疏性和量化操作中，先进行稀疏性操作再进行量化操作是最优的顺序，可以最小化计算误差。同时，本文还发现稀疏性和量化不是正交的，它们的相互作用会显著影响模型的准确性，其中量化误差起主导作用。

本文通过实验验证了理论结论，并在多个模型和数据集上进行了测试。此外，本文还提供了开源代码和详细的实验结果，为使用这些压缩方法的最佳实践提供了指导。

与本文相关的研究包括深度神经网络压缩的其他方法，如剪枝、量化和低秩分解。