A Survey on LoRA of Large Language Models

Low-Rank Adaptation~(LoRA)是一种更新稠密神经网络层的可插入低秩矩阵的最佳参数高效微调范例之一。此外，它在跨任务泛化和隐私保护方面具有显着优势。因此，LoRA最近引起了广泛关注，相关文献数量呈指数增长。有必要对当前在LoRA上的进展进行全面的概述。本调查从以下几个方面对进展进行分类和审查：（1）改进下游适应性的变体，以提高LoRA在下游任务上的性能；（2）跨任务泛化方法，混合多个LoRA插件以实现跨任务泛化；（3）提高效率的方法，提高LoRA的计算效率；（4）数据隐私保护方法，使用LoRA进行联邦学习；（5）应用。此外，本调查还讨论了该领域的未来方向。

LoRA的综述论文，旨在从不同角度全面回顾LoRA的研究进展，包括改进、泛化、效率、隐私和应用等方面。

LoRA是一种有效的参数微调范式，通过更新密集神经网络层的可插拔低秩矩阵，具有跨任务泛化和隐私保护等显著优势。

论文从改进、泛化、效率、隐私和应用等方面全面回顾了LoRA的研究进展，还讨论了未来的研究方向。

与LoRA相关的研究涉及许多方面，如低秩矩阵分解、参数微调、跨任务泛化、隐私保护等，其中一些论文包括：《Efficient Low Rank Matrix Factorization for Convolutional Neural Networks》、《Low-Rank Matrix Factorization for Deep Neural Networks》、《Cross-task Learning with Adversarial Task Augmentation》等。