LoRA Dropout as a Sparsity Regularizer for Overfitting Control

参数高效的微调方法，如LoRA，对于将大规模预训练模型适应到下游任务中起着至关重要的作用。然而，微调LoRA系列模型也面临着在训练数据集上过拟合的风险，而且仍然缺乏理论指导和实际机制来控制基于LoRA的PEFT方法的过拟合。在本文中，我们提出了一种LoRA Dropout机制，通过向可学习的低秩矩阵引入随机噪声和增加参数稀疏性来对基于LoRA的方法进行微调。然后，我们从稀疏正则化的角度，通过提供在此框架下的泛化误差界，展示了我们的LoRA Dropout机制的理论机制。理论结果表明，适当的稀疏性有助于缩小经验风险和泛化风险之间的差距，从而控制过拟合。此外，基于LoRA Dropout框架，我们引入了一种测试时间集成策略，并提供了理论证据，证明集成方法可以进一步压缩误差界，并在推理时间内导致更好的性能。在各种NLP任务上的广泛实验验证了我们的LoRA Dropout框架在提高模型准确性和校准性方面的有效性。

论文旨在解决LoRA系列模型在fine-tuning过程中可能出现的过拟合问题，提出一种LoRA Dropout机制来控制过拟合。

LoRA Dropout机制通过向可学习的低秩矩阵引入随机噪声和增加参数稀疏性来控制过拟合，并从稀疏正则化的角度提供了一般化误差界的理论机制。

论文提出的LoRA Dropout机制能够有效地提高模型的准确性和校准性，并且引入测试时间集成策略进一步压缩误差界，提高推理时的性能。实验结果表明了该机制的有效性。

最近的相关研究包括使用不同的正则化方法来控制过拟合，例如L1/L2正则化和Dropout等。