论文标题：Accelerate CNNs from Three Dimensions: A Comprehensive Pruning Framework

论文链接：https://arxiv.org/abs/2010.04879

作者单位：浙江大学 &  腾讯 & 香港中文大学

 本文提出以模型深度(d)，宽度(w)和图像分辨率(r)三个维度的剪枝框架，其以模型的精度为优化目标。表现SOTA！性能优于GAL、DBP、HRank和PScratch等剪枝方法。

神经网络剪枝是最流行的模型加速方法之一。大多数剪枝方法（例如filter-level or layer-level剪枝）会沿一个单一维度（深度，宽度或分辨率）剪枝模型，以满足计算成本的要求。但是，这种剪枝策略通常会导致该尺寸的过度减小，从而导致巨大的精度损失。为了缓解此问题，我们认为剪枝应从三个方面全面进行。为此，我们的剪枝框架将剪枝表述为优化问题。具体来说，它首先通过多项式回归拟合模型的准确性与深度/宽度/分辨率之间的关系，然后最大化多项式以获取三个维度的最优值。最后，相应地沿三个维度修剪模型。在此框架中，由于收集太多用于回归的数据非常耗时，因此，我们提出了两种降低成本的方法：（1）专门针对多项式以确保即使数据量较少也能进行准确的回归； （2）采用迭代剪枝和微调来更快地收集数据。大量实验表明，我们的算法优于最新的剪枝算法，甚至优于基于NAS的算法。 

内容中包含的图片若涉及版权问题，请及时与我们联系删除