SCOP: Scientific Control for Reliable Neural Network Pruning

论文链接：https://arxiv.org/abs/2010.10732

表现SOTA！性能优于HRank、FPGM和GAL等网络，实验证明该方法可以减少ResNet-101的57.8％参数和60.2％的FLOP，而ImageNet的top-1精度损失仅为0.01％！作者单位：北京大学, 华为诺亚, 悉尼大学

通过建立科学的控制机制，提出了一种可靠的神经网络剪枝算法。现有的剪枝方法已经开发出各种假设，以近似filter对网络的重要性，然后相应地执行filter剪枝。为了提高结果的可靠性，我们希望采用更严格的研究设计，方法是将科学控制小组作为必不可少的组成部分，以最大程度地降低除filter与预期网络输出之间的关联以外的所有因素的影响。充当对照组，生成仿冒特征以模仿网络filter生成的特征图，但条件上它们独立于给定真实特征图的示例标签。从理论上讲，考虑到网络层的信息传播，可以大致保留仿冒条件。除了中间层上的真实特征图外，相应的仿形特征也作为后续层的另一个辅助输入信号被引入。可以在不同特征的对抗过程中发现冗余filter。通过实验，我们证明了所提出的算法优于最新方法的优越性。例如，我们的方法可以减少ResNet-101的57.8％参数和60.2％的FLOP，而ImageNet的top-1精度损失仅为0.01％。

内容中包含的图片若涉及版权问题，请及时与我们联系删除