Finding Lottery Tickets in Vision Models via Data-driven Spectral Foresight Pruning

最近神经网络剪枝的进展表明，在训练之前，可以减少深度学习模型的计算成本和内存需求。我们专注于这个框架，并提出了一种新的初始化剪枝算法，利用神经切向核（NTK）理论将稀疏网络的训练动态与密集网络对齐。具体而言，我们展示了如何通过将神经网络分解为单个路径来提供NTK谱中通常被忽略的数据相关组件的解析上界，从而考虑到NTK的迹。这导致我们的Path eXclusion（PX），这是一种前瞻性剪枝方法，旨在保留主要影响NTK迹的参数。PX能够在高稀疏水平下找到好的路径，大大减少了额外训练的需求。当应用于预训练模型时，它提取的子网络可直接用于多个下游任务，性能可与密集对应物相媲美，但具有大量成本和计算节省。代码可在https://github.com/iurada/px-ntk-pruning获得。

本论文旨在通过神经网络剪枝来减少深度学习模型的计算成本和内存需求，提出了一种新的剪枝方法，即 PX 剪枝，用于在初始化时对神经网络进行剪枝。

PX 剪枝方法利用神经切向核（NTK）理论来对稀疏网络的训练动态与密集网络进行对齐，通过将神经网络分解为单个路径来获得 NTK 的上界，从而考虑到通常被忽略的数据相关组件，以保留对 NTK 追踪最有影响的参数。

论文提出的 PX 剪枝方法能够在高稀疏度下找到优秀的路径，从而减少了额外训练的需求。当应用于预训练模型时，PX 剪枝方法提取的子网络可直接用于多个下游任务，性能与密集网络相当，但节省了大量成本和计算资源。论文的代码已经开源。

最近的相关研究包括Deep Compression、Dynamic Network Surgery、ThiNet等。