AutoLoRA: Automatically Tuning Matrix Ranks in Low-Rank Adaptation Based on Meta Learning

大规模预训练后跟特定任务微调已经在各种自然语言处理任务中取得了巨大的成功。由于微调大型预训练模型的所有参数会带来巨大的计算和存储挑战，因此已经开发了几种高效的微调方法。其中，低秩适应（LoRA）通过在冻结的预训练权重之上微调低秩增量更新矩阵，已被证明特别有效。尽管如此，LoRA在所有层上的均匀秩分配以及依赖于详尽的搜索来找到最佳秩，导致了高计算成本和次优微调性能。为了解决这些限制，我们引入了AutoLoRA，这是一个基于元学习的框架，用于自动识别每个LoRA层的最佳秩。AutoLoRA将低秩更新矩阵中的每个秩-1矩阵与一个选择变量相关联，该变量确定是否应丢弃秩-1矩阵。开发了一种基于元学习的方法来学习这些选择变量。通过对自然语言理解、生成和序列标记的全面实验，证明了AutoLoRA的有效性。

论文试图解决的问题是如何在大规模预训练后进行有效的微调，特别是针对LoRA方法中存在的计算成本高和维度不一致的问题。

论文提出了AutoLoRA，一种基于元学习的框架，用于自动识别每个LoRA层的最佳秩。AutoLoRA使用一个选择变量来关联每个秩-1矩阵，以确定是否应该丢弃该矩阵，并使用元学习方法来学习这些选择变量。最佳秩是通过对这些变量的阈值进行分割来确定的。

论文的实验包括了自然语言理解、生成和序列标注等多个任务，证明了AutoLoRA的有效性。此外，论文提出的元学习方法可以在其他领域中应用。论文还开源了代码。

在这个领域中，最近的相关研究包括《Efficient Transformers: A Survey》、《Large Scale Language Modeling: Converging on 40GB of Text in Four Hours》等。