BMRS: Bayesian Model Reduction for Structured Pruning

现代神经网络通常过度参数化，导致训练和推断时计算成本高昂。一种有效的方法是结构化剪枝，在保持良好性能的同时，去除对模型输出影响有限的完整网络结构（例如神经元或卷积滤波器），从而提高神经网络的计算和能源效率。在本文中，我们提出了一种全面的端到端贝叶斯结构化剪枝方法——贝叶斯模型缩减结构化剪枝（BMRS）。BMRS基于两种最近的方法：带乘法噪声的贝叶斯结构化剪枝和贝叶斯模型缩减（BMR），后者允许在先验变化下高效比较贝叶斯模型。我们提出了两种BMRS的实现，它们基于不同的先验，产生不同的结构化剪枝特性：1）使用截断的对数正态先验的BMRS_N，它提供可靠的压缩率和准确性，无需调整任何阈值；2）使用截断的对数均匀先验的BMRS_U，它可以根据截断边界实现更激进的压缩。总的来说，我们发现BMRS提供了一种理论上有根据的神经网络结构化剪枝方法，可以实现高压缩率和准确性。在多个数据集和不同复杂度的神经网络上的实验证明，两种BMRS方法相比其他剪枝方法具有竞争性的性能-效率权衡。

本文旨在通过结构化剪枝方法提高神经网络的计算和能量效率，同时保持良好的性能。该方法是否新颖？

本文提出了一种完全端到端的贝叶斯结构剪枝方法，即Bayesian Model Reduction for Structured pruning (BMRS)，它基于两种最近的方法：带乘性噪声的贝叶斯结构剪枝和贝叶斯模型简化（BMR）。

本文提出了两种不同的BMRS实现，它们基于不同的先验分布，分别是截断对数正态先验的BMRS_N和截断对数均匀先验的BMRS_U。实验结果表明，两种BMRS方法相对于其他剪枝方法具有更高的性能和效率平衡。

最近的相关研究包括Deep Compression, ThiNet和NISP等。