在深度模型压缩领域中，「彩票假说」（Lottery Tickets Hypothesis）指出一个原始神经网络可能存在中奖彩票的子网络（Winning ticket），该子网络可以达到和原始网络相近的准确率。

 

然而，这种中奖特性（Winning property）在许多情况中很难被观测到。例如，在训练网络过程中，当使用有利于训练的相对较大的学习率时，就很难发现中奖彩票。

 

近期，由美国东北大学王言治教授研究组与合作组通过对「彩票假说」工作的研究，发现并揭示了中奖特性的潜在条件和基本原理。

论文链接：https://arxiv.org/pdf/2102.11068.pdf

会议论文链接：http://proceedings.mlr.press/v139/liu21aa.html

 

该研究发现其本质原因，即当学习率不够大时，初始化权重和最终训练权重之间存在相关性。

 

因此，中奖特性的存在与神经网络（Deep neural network，DNN）预训练不足有关，并且该特性不太可能发生在训练良好的神经网络中。

 

为了克服这个限制，该研究提出了「剪枝与微调」的方案，其在相同的剪枝算法和训练时长下始终优于中奖彩票训练的精度。

 

该研究对不同数据集上的多个深度模型（VGG、ResNet、MobileNet-v2）进行了广泛的实验，以证明所提出方案的有效性。目前，该文章已经被ICML 2021会议收录。

内容中包含的图片若涉及版权问题，请及时与我们联系删除