Effective Layer Pruning Through Similarity Metric Perspective

深度神经网络一直是解决认知任务的机器学习中的主要范例。然而，这种模型受到高计算开销的限制，限制了它们的适用性并阻碍了该领域的进展。广泛的研究表明，从这些模型中剪枝结构是减少网络复杂性的一种简单方法。在这个方向上，大多数工作都集中在去除权重或过滤器上。研究也致力于层剪枝，因为它可以促进更好的计算收益。然而，层剪枝在高压缩率下往往会损害网络的预测能力（即准确性）。本文介绍了一种有效的层剪枝策略，该策略满足剪枝方法所追求的所有基本属性。我们的方法使用中心核对齐（CKA）度量来估计层的相对重要性，该度量用于衡量未剪枝模型和候选层之间表示的相似性。我们在标准架构和基准测试中证实了我们方法的有效性，在这些测试中，它优于现有的层剪枝策略和其他最先进的剪枝技术。特别地，我们删除了超过75%的计算量，同时提高了预测能力。在更高的压缩程度下，我们的方法表现出可忽略的精度下降，而其他方法明显降低了模型的准确性。除了这些好处外，我们剪枝后的模型对抗性和超出分布的样本也表现出鲁棒性。

本文旨在解决深度神经网络中层级剪枝对模型准确性影响较大的问题，提出一种有效的层级剪枝策略。

本文提出使用居中核对齐（CKA）度量来估计层的相对重要性，以衡量未经剪枝的模型表示和候选层表示之间的相似性，从而实现层级剪枝。

本文的实验结果表明，相比现有的层级剪枝策略和其他最先进的剪枝技术，本文提出的方法在标准架构和基准测试中表现更好，即使在更高的压缩率下，也能够减少75%以上的计算量而提高预测能力。此外，本文的剪枝模型对抗样本和超出分布的样本具有鲁棒性。

相关研究包括但不限于：《Learning both Weights and Connections for Efficient Neural Networks》、《The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks》等。