论文标题: Pruning with Compensation: Efficient Channel Pruning for Deep Convolutional Neural Networks 

论文链接:https://arxiv.org/abs/2108.13728

代码链接:https://github.com/ZhouyangXie/compensation

作者单位: 成都数之联科技 & 电子科技大学

通道剪枝是一种压缩深度卷积神经网络（DCNN）参数并加速推理的有前途的技术。本文旨在解决渠道修剪长期存在的低效率问题。大多数通道剪枝方法通过从剩余参数或随机初始化重新训练剪枝模型来恢复预测精度。这个重新训练过程在很大程度上依赖于计算资源、训练数据和人为干扰（调整训练策略）的充足性。在本文中，提出了一种高效的剪枝方法，以显着降低剪枝 DCNN 的成本。我们方法的主要贡献包括：1）剪枝补偿，一种快速且数据高效的重新训练替代品，以最大限度地减少特征的后剪枝重建损失，2）补偿感知剪枝（CaP），一种去除冗余的新型剪枝算法或通过最小化信息丢失来减少加权信道，以及 3) 具有步长约束的二分结构搜索以最小化人为干扰。在包括 CIFAR-10/100 和 ImageNet 在内的基准测试中，我们的方法在最先进的基于再训练的剪枝方法中显示出具有竞争力的剪枝性能，更重要的是，将处理时间减少了 95%，数据使用量减少了 90%。

内容中包含的图片若涉及版权问题，请及时与我们联系删除