标题：厦大、腾讯、郑州大学、北大|Lottery Jackpots Exist in Pre-trained Models（预训练模型中存在彩票头奖）

简介：网络修剪是一种在不影响性能的情况下降低网络复杂性的有效方法。现有研究通过以下方法实现了神经网络的稀疏性耗时的权重调整或在扩展宽度的网络上进行复杂的搜索，这极大地限制了网络修剪的应用。在本文中，我们表明在未经训练的宽度未扩展的模型中，存在不涉及权重调整的高性能且稀疏的子网（称为“彩票头奖”）。例如，我们获得的高性能且稀疏的子网仅包含10％的参数，但仍能达到原始的密集VGGNet-19的性能，无需对预训练权重进行任何修改。此外，我们观察到从许多现有修剪标准得到的稀疏掩码模型中有一个与我们的高性能且稀疏的子网高度重叠，其中，基于幅度的修剪得到与我们最相似的掩码。基于这种见解，我们使用幅度修剪来初始化稀疏掩码，从而在高性能且稀疏的子网搜索中至少减少3倍的成本，同时获得可比甚至更好的性能。具体来说，我们基于幅度修剪的高性能且稀疏子网消除了ResNet-50中的90％权重，而仅使用ImageNet上的10次迭代即可轻松获得70％+的top-1精度。

代码：https://github.com/zyxxmu/lottery-jackpots

论文链接：https://arxiv.org/pdf/2104.08700.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除