Enhancing In-Context Learning Performance with just SVD-Based Weight Pruning: A Theoretical Perspective

本文研究表明，基于Transformer的预训练大语言模型（LLM）展现出惊人的上下文学习（ICL）能力。只需少量演示输入-标签对，它们就能够预测未见过的输入的标签，而无需进行任何参数更新。本文展示了一个令人兴奋的现象，即基于奇异值分解（SVD）的权重剪枝可以增强ICL性能，更令人惊讶的是，剪枝深层的权重通常会导致浅层的性能稳定性提高。然而，这些发现背后的机制仍然是一个开放的问题。为了揭示这些发现，我们进行了深入的理论分析，通过展示ICL的隐式梯度下降（GD）轨迹并给出基于全隐式GD轨迹的互信息基本泛化界限，来合理解释这些令人惊讶的实验发现。此外，基于我们所有的实验和理论见解，我们直观地提出了一种简单的、模型压缩的、无导数的算法，用于增强ICL推理的下游任务。在基准数据集和开源LLM上的实验显示了该方法的有效性\footnote{代码可在\url{https://github.com/chen123CtrlS/EnhancingICL_SVDPruning}中获得}。

论文旨在研究SVD-based weight pruning如何增强in-context learning（ICL）能力，以及探究其背后的机制。

论文提出SVD-based weight pruning可以提高ICL性能，特别是在深层神经网络中剪枝可以增强浅层的性能。通过理论分析，论文解释了这些发现，并提出了一种简单的模型压缩算法来增强ICL推理。

论文设计实验验证了SVD-based weight pruning的有效性，并提供了开源代码。论文还通过理论分析解释了实验发现的机制，并提出了一种简单的模型压缩算法来增强ICL推理。

最近的相关研究包括基于Transformer的大型语言模型的ICL能力研究，以及其他模型压缩算法的研究。