论文题目：HRank: Filter Pruning using High-Rank Feature Map

论文来源：CVPR2020 oral

论文作者：Mingbao Lin , Rongrong Ji

作者单位：北理工&厦门大学&北航&Pinterest

下载链接：https://openaccess.thecvf.com

代码地址：https://github.com/lmbxmu/HRank

 

[推荐理由]

为了解决剪枝设计中存在训练效率低、人工成本高的问题，本文通过对高秩特征图的研究，提出了一种新的滤波剪枝方法。文章指出无论网络接收的图像批数是多少，由单个卷积核生成的多个特征图的平均秩总是相同的。此外，在数学上证明了低秩特征图包含的信息较少，剪去这部分卷积核影响较小，因此可以首先删除生成这些特征映射的卷积核，该方法表现SOTA。

 

[主要内容]

方法

卷积核剪枝的核心是对卷积核的选择，它应该产生最高的压缩比和最低的精度损失，本文利用特征映射的秩来表示卷积核的重要性程度，它不仅是一种有效的信息度量，而且对跨分布分布的样本稳定。

数学证明：

4.以剩余的卷积核为初始参数进行finetune

消融实验：

1.HRank变体

提出了三种变体，包括：(1)边缘:同时修剪生成低秩和高秩特征图的卷积核；(2)随机:随机修剪；(3)反向:修剪生成高秩特征映射的卷积核。

2.冻结卷积核

冻结部分高秩卷积核，发现不更新具有高秩特征映射的卷积核对模型性能的损失很小。


内容中包含的图片若涉及版权问题，请及时与我们联系删除