SVD-LLM: Truncation-aware Singular Value Decomposition for Large Language Model Compression

大型语言模型的进展受到它们庞大的大小的限制，这需要使用LLM压缩方法进行实际部署。奇异值分解（SVD）为LLM压缩提供了有希望的解决方案。然而，目前最先进的基于SVD的LLM压缩方法存在两个关键限制：截断较小的奇异值可能导致更高的压缩损失，并且在SVD截断后缺乏对剩余模型参数的更新。在这项工作中，我们提出了SVD-LLM，一种新的基于SVD的LLM压缩方法，解决了现有方法的限制。SVD-LLM采用了一种截断感知的数据白化策略，以确保奇异值和压缩损失之间的直接映射。此外，SVD-LLM采用了一种逐层闭式模型参数更新策略，以补偿SVD截断导致的精度降级。我们在11个数据集和来自三个不同LLM家族的七个模型上以四个不同的规模评估了SVD-LLM。我们的结果表明，在高模型压缩比下，SVD-LLM优于现有技术。源代码可在https://github.com/AIoT-MLSys-Lab/SVD-LLM上获得。

SVD-LLM论文提出了一种新的基于SVD的大型语言模型压缩方法，旨在解决现有方法中截断较小奇异值可能导致更高压缩损失和SVD截断后剩余模型参数缺乏更新的问题。

SVD-LLM采用了一种截断感知的数据白化策略来确保奇异值与压缩损失之间的直接映射，并采用分层闭式模型参数更新策略来补偿SVD截断引起的精度降低。

SVD-LLM在11个数据集和三种不同LLM家族的七个模型上进行了评估，结果表明其在高模型压缩比下优于现有技术。研究者还提供了开源代码。

在这个领域中，最近的相关研究包括：“Compressing Large-Scale Neural Networks with the Hashing Trick”、“Structured Pruning for Efficient Deep Learning”和“Learning Structured Sparsity in Deep Neural Networks”。