A Survey of Lottery Ticket Hypothesis

彩票假设（LTH）指出，密集的神经网络模型包含一个高度稀疏的子网络（即获奖彩票），当它们被孤立地训练时，可以实现比原始模型更好的性能。虽然LTH在许多研究中已经在经验和理论上得到证明，但仍然存在一些需要解决的问题，例如效率和可伸缩性。此外，缺乏开源框架和共识实验设置也对未来LTH研究构成了挑战。我们首次从不同角度审视了以前对LTH的研究和研究，讨论了现有工作中的问题，并列出了进一步探索的潜在方向。本调查旨在深入了解LTH的现状，并开发一个得到适当维护的平台，以进行实验并与最新的基线进行比较。

本文旨在探讨Lottery Ticket Hypothesis（LTH）的各个方面，包括有效性、可扩展性和开源框架等，并提供一个平台来进行实验和比较最新的基线。

本文通过从不同角度审视之前的研究和LTH的状态，提供了一种新的方式来理解和解释LTH。同时，本文还列出了LTH中现有工作的问题和潜在的研究方向。

本文的亮点包括从不同角度审视LTH、提供一个平台来进行实验和比较最新的基线、列出了LTH中现有工作的问题和潜在的研究方向等。实验使用了多个数据集，并提供了开源代码。值得深入研究的工作包括如何提高LTH的效率和可扩展性等。

与LTH相关的最近研究包括'Playing the Lottery with Rewards and Multiple Languages: Lottery Tickets in RL and NLP'、'The Lottery Ticket Hypothesis for Pre-trained BERT Networks'等。