LoRA Learns Less and Forgets Less

本文研究了一种名为Low-Rank Adaptation (LoRA)的大型语言模型参数高效微调方法。LoRA通过仅对选定的权重矩阵进行低秩扰动训练来节省内存。本文比较了LoRA和完全微调在编程和数学两个目标领域上的性能，包括指令微调（约100K个提示-响应对）和继续预训练（约10B个非结构化标记）数据范围。结果显示，在大多数情况下，LoRA的表现明显不如完全微调。然而，LoRA表现出一种理想的正则化形式：它更好地维护了基础模型在目标领域之外的任务表现。本文还表明，与常见的技术如权重衰减和dropout相比，LoRA提供了更强的正则化作用；它还有助于维护更多样化的生成。本文还显示，完全微调学习的扰动秩比典型的LoRA配置高10-100倍，这可能解释了一些报道中的差距。最后，本文提出了使用LoRA进行微调的最佳实践。

LoRA的性能如何？它是否可以作为大型语言模型参数有效微调的替代方法？

LoRA是一种低秩适应方法，可以通过仅训练选定的权重矩阵的低秩扰动来节省内存。虽然在大多数情况下，LoRA表现不及完全微调，但它表现出更好的正则化效果，可以帮助维护基础模型在目标域之外任务的性能，并且可以产生更多样化的生成结果。

论文通过比较在编程和数学领域的指令微调和持续预训练数据情况下，LoRA和完全微调的性能，发现LoRA在大多数情况下表现不及完全微调，但它表现出更好的正则化效果。实验使用了两个数据集，并提出了使用LoRA进行微调的最佳实践。

在大型语言模型的微调领域，还有一些相关研究，例如：《Don't Stop Pretraining: Adapt Language Models to Domains and Tasks》、《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》等。