A Survey on Transformer Compression

基于Transformer架构的大型模型在人工智能中扮演着越来越重要的角色，特别是在自然语言处理（NLP）和计算机视觉（CV）领域。模型压缩方法可以减少它们的内存和计算成本，这是在实际设备上实现Transformer模型的必要步骤。鉴于Transformer的独特架构，具有替代注意力和前馈神经网络（FFN）模块，需要特定的压缩技术。这些压缩方法的效率也非常重要，因为通常不可能在整个训练数据集上重新训练大型模型。本文综述了最近的压缩方法，重点关注它们在Transformer模型中的应用。压缩方法主要分为剪枝、量化、知识蒸馏和高效架构设计。在每个类别中，我们讨论了CV和NLP任务的压缩方法，突出了共同的基本原则。最后，我们深入探讨了各种压缩方法之间的关系，并讨论了这一领域的进一步发展方向。

本论文旨在解决Transformer模型在实际设备上的内存和计算成本问题，提出了一些压缩模型的方法。

本论文提出了基于剪枝、量化、知识蒸馏和高效架构设计的压缩方法，重点关注了这些方法在Transformer模型中的应用。

本文总结了最近的压缩方法，并提供了针对CV和NLP任务的应用案例。实验结果表明，这些方法可以在减少计算成本和内存占用方面取得显著效果。此外，本文还讨论了各种压缩方法之间的关系和未来的研究方向。

最近的相关研究包括《Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding》、《Learning both Weights and Connections for Efficient Neural Networks》等。