EoRA: Training-free Compensation for Compressed LLM with Eigenspace Low-Rank Approximation

在这项工作中，我们将模型压缩问题重新定义为定制补偿问题：给定一个压缩模型，我们的目标是在用户定制的要求下（例如任务、压缩比）引入残差低秩路径来补偿压缩误差，从而在调整整体容量时具有更大的灵活性，而不受特定压缩格式的限制。然而，直接应用奇异值分解（SVD）来推导残差路径会导致低秩表示能力的次优利用。因此，我们提出了无训练特征空间低秩近似（EoRA）方法，该方法无需基于梯度的训练即可直接最小化压缩引起的误差，使用少量校准数据在几分钟内实现快速优化。EoRA 将压缩误差投影到输入激活的特征空间中，利用特征值有效优先重建高重要性误差成分。此外，EoRA 可以无缝集成到微调和量化中，进一步提高效果和效率。EoRA 在各种任务上持续优于先前的方法，例如在语言生成、常识推理和数学推理任务中，对量化为 4 位并剪枝至 2:4 稀疏度的 LLaMA3-8B 模型进行补偿时，在 ARC-Easy/ARC-Challenge 和 MathQA 上分别提高了 31.31%/12.88% 和 9.69%。EoRA 提供了一种可扩展且无需训练的解决方案来补偿压缩误差，使其成为在各种容量和效率要求下部署大语言模型的强大工具。

该论文试图解决模型压缩后性能下降的问题，特别是在大型语言模型（LLM）中。这是一个持续存在的问题，因为虽然模型压缩可以显著减少计算和存储需求，但通常会牺牲模型的性能。

论文提出了一种名为Training-free Eigenspace Low-Rank Approximation (EoRA) 的方法，通过在输入激活的特征空间中投影压缩误差，并利用特征值优先重建高重要性的误差成分，从而有效地补偿压缩引起的性能损失。与传统的SVD方法不同，EoRA不需要梯度训练，能够在几分钟内使用少量校准数据快速优化。

EoRA在多个任务上展示了显著的性能提升，特别是在量化和剪枝后的LLaMA2/3模型上。例如，在ARC-Easy、ARC-Challenge和MathQA任务上，EoRA分别提高了31.31%、12.88%和9.69%的性能。此外，EoRA可以与微调和量化无缝集成，进一步提高效率和效果。论文还提供了开源代码，便于其他研究者复现和扩展。

最近在这个领域中，还有一些相关的研究，如： 1. "Dynamic Network Surgery for Efficient DNNs" - 提出了一种动态网络手术方法来优化模型剪枝。 2. "Low-Rank Adaptation of Large Scale Models" - 研究了低秩适应方法在大规模模型中的应用。 3. "BitFit: Simple Parameter-efficient Fine-tuning for Transformer-based Models" - 探讨了参数高效的微调方法。 4. "Adversarial Fisher Vectors for Unsupervised Representation Learning" - 利用对抗Fisher向量进行无监督表示学习。