Isomorphic Pruning for Vision Models

结构化剪枝通过去除冗余子结构减少了深度神经网络的计算开销。然而，评估不同子结构的相对重要性仍然是一个重大挑战，特别是在包含自注意力、深度卷积或残差连接等新型机制和架构的先进视觉模型中。这些异构子结构通常表现出不同的参数比例、权重分布和计算拓扑，为重要性比较带来了相当大的困难。为了克服这一问题，我们提出了同构剪枝，这是一种简单的方法，它在多种网络架构，如视觉变压器和卷积神经网络中表现出有效性，并在不同模型尺寸上提供了竞争性的性能。同构剪枝的灵感来自于这样一个观察结果：在预定义的重要性标准下评估时，异构子结构呈现出显著的重要性分布差异，而同构结构则呈现出类似的重要性模式。这启发我们对不同类型的子结构进行独立的排名和比较，以实现更可靠的剪枝。我们在ImageNet-1K上的实验结果表明，同构剪枝超过了专门为变压器或卷积神经网络设计的几种剪枝基线。例如，我们通过剪枝一个现成的DeiT-Base模型，将DeiT-Tiny的准确度从74.52%提高到77.50%。对于ConvNext-Tiny，我们将性能从82.06%提高到82.18%，同时减少了参数数量和内存使用。代码可在\url{https://github.com/VainF/Isomorphic-Pruning}上找到。

如何评估不同子结构的相对重要性是深度神经网络剪枝中的重要挑战，特别是对于包含自注意力、深度卷积或残差连接等新机制和新架构的先进视觉模型。本文旨在解决这个问题。

本文提出了同构剪枝的方法，通过对不同类型的子结构进行隔离排名和比较来更可靠地进行剪枝。

实验结果表明，同构剪枝优于专门为Transformer或CNN设计的几个剪枝基线，而且在不同模型大小下表现出竞争性能。作者在ImageNet-1K数据集上进行了实验，证明了同构剪枝的有效性。作者还提供了开源代码。

在剪枝领域，还有其他相关的研究，例如《Learning Efficient Convolutional Networks through Network Slimming》和《The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks》。