ALoRA: Allocating Low-Rank Adaptation for Fine-tuning Large Language Models

参数高效微调（PEFT）在大型语言模型时代因其有效性和效率而受到广泛研究。低秩适应（LoRA）作为一种流行且代表性的方法，已经展现出了令人满意的性能。然而，它是使用固定的内在秩，可能不是下游任务的理想设置。为了认识到更灵活的下游任务适应的需求，我们将LoRA的方法扩展到一种创新方法，称为分配低秩适应（ALoRA），它可以在适应过程中动态调整内在秩。首先，我们提出了一种新颖的方法，AB-LoRA，可以有效地估计每个LoRA秩的重要性分数。其次，受AB-LoRA的指导，我们逐渐修剪过多和负面影响的LoRA秩，并将修剪的LoRA预算分配给需要更高秩的重要Transformer模块。我们在各种任务上进行了实验，实验结果表明，我们的ALoRA方法可以在可调参数相当的情况下胜过最近的基线。

本文旨在解决低秩适应（LoRA）的固定内在秩不一定适合下游任务的问题，提出了一种动态调整内在秩的方法，即分配低秩适应（ALoRA）。

ALoRA方法通过AB-LoRA方法估计每个LoRA秩的重要性得分，逐步修剪过多且对性能有负面影响的LoRA秩，并将修剪后的LoRA预算分配给需要更高秩的重要Transformer模块。

实验结果表明，ALoRA方法在各种任务上均优于最近的基线方法，并且具有可比较的可调参数。

最近的相关研究包括：低秩适应（LoRA）、参数高效微调（PEFT）等。