Insights into the Lottery Ticket Hypothesis and the Iterative Magnitude Pruning

本文探讨了深度神经网络的彩票票假说，强调了重新训练使用迭代幅值剪枝过程获得的更稀疏网络时所使用的初始化的重要性。然而，至今为止，彩票票假说所提出的特定初始化为何在泛化（和训练）性能方面表现更好的解释仍然缺乏。此外，像剪枝较小幅度权重和迭代过程的作用这样的迭代幅值剪枝的基本原理还缺乏充分的理解和解释。本文试图通过实证研究迭代幅值剪枝过程中各个阶段所获得的解的体积/几何和损失景观特征，为这些现象提供见解。

论文试图探索迭代幅值剪枝过程中使用的初始化对深度神经网络的重要性，并解释为什么彩票票据假设提出的特定初始化在泛化（和训练）性能方面更有效。同时，论文试图深入理解迭代幅值剪枝过程中的原理，如剪枝较小幅度权重和迭代过程的作用。

论文通过实验研究迭代幅值剪枝过程中不同阶段的解决方案的体积/几何和损失景观特征，为彩票票据假设提出的特定初始化在泛化（和训练）性能方面更有效提供了洞见。

论文使用实验研究了迭代幅值剪枝过程中不同阶段的解决方案的体积/几何和损失景观特征，揭示了彩票票据假设提出的特定初始化在泛化（和训练）性能方面更有效的原因。论文还讨论了迭代幅值剪枝过程中剪枝较小幅度权重和迭代过程的作用。

相关研究包括《The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks》和《Understanding the Disharmony between Dropout and Batch Normalization by Variance Shift》等。