当前，彩票假设 (LTH) 和单次网络剪枝 (SNIP) 的工作在训练后剪枝和训练前剪枝两个方面引起了很多关注：前一种方法需要一个预训练好的模型，导致计算成本巨大的后果；后者通常会因性能不足而苦苦挣扎。相比之下，训练中修剪作为一类同时享有训练/推理效率和高精度的剪枝方法却鲜被探索。

 

本工作由京东探索研究院联合埃因霍温理工大学，特文特大学，得克萨斯州大学奥斯汀分校合作完成，我们重新并系统审视了训练中剪枝。从剪枝可塑性（剪枝网络恢复原始性能的能力）的角度定量地研究了整个训练过程中剪枝对模型精度的影响。修剪可塑性可以帮助解释已有参考文献中关于神经网络修剪的其他几个经验观察，即通过注入一种受大脑启发的神经再生机制，可以显着改善修剪的可塑性，进而提高稀疏训练的精度。

 

具体来讲，我们设计了一种新颖的稀疏训练方法，称为“零成本神经再生稀疏训练 (GraNet)”。在通用的ResNet-50 ImageNet的测试下，GraNet的稀疏到稀疏训练版本首次在不延长训练时间的情况下超过了各种密集到稀疏方法。

论文链接：https://mp.weixin.qq.com/s/-DahdyswkArVqolTGRaIyw

内容中包含的图片若涉及版权问题，请及时与我们联系删除