(PASS) Visual Prompt Locates Good Structure Sparsity through a Recurrent HyperNetwork

大规模神经网络在不同领域中表现出了非凡的性能，如视觉和语言处理，但代价是巨大的计算资源。正如压缩文献所示，结构模型修剪是一种促进模型效率的突出算法，因为它具有加速友好的稀疏模式。结构修剪的一个关键问题是如何估计通道的重要性。同时，数据中心的AI工作表明，基于提示的技术使得大型语言模型在不同的下游任务中具有令人印象深刻的泛化能力。在本文中，我们探讨了一个迷人的可能性 - 利用视觉提示来捕捉通道的重要性并推导高质量的结构稀疏性。为此，我们提出了一种新的算法框架，即\texttt{PASS}。它是一个定制的超网络，可以同时接受视觉提示和网络权重统计数据作为输入，并以递归方式输出逐层通道稀疏性。这样的设计考虑了层间固有的通道依赖关系。在多个网络架构和六个数据集上进行的全面实验表明，\texttt{PASS}在定位良好的结构稀疏性方面具有优越性。例如，在相同的FLOPs水平下，\texttt{PASS}子网络在Food101数据集上实现了$1\%\sim 3\%$更好的准确率；或者在相似的$80\%$准确率下，\texttt{PASS}子网络比基线获得了$0.35\times$的加速。

本文旨在解决大规模神经网络的结构压缩问题，即如何确定通道的重要性，以便实现高质量的结构稀疏化。

本文提出了一种新的算法框架 — — “PASS”，通过利用视觉提示来捕捉通道的重要性，并以递归的方式输出逐层的通道稀疏性。

本文在多个网络架构和六个数据集上进行了全面的实验，证明了PASS在定位良好的结构稀疏性方面的优越性。在相同的FLOPs水平下，PASS子网络在Food101数据集上实现了1%至3%的更好的准确性；或者在相似的80%准确率的情况下，PASS子网络比基线获得了0.35倍的加速比。

最近的相关研究包括压缩领域中的结构模型剪枝算法和数据中心AI领域中的提示技术。