LoRA-XS: Low-Rank Adaptation with Extremely Small Number of Parameters

最近语言模型的扩展趋势引发了对参数有效调整（PEFT）方法，如LoRA（低秩自适应）的日益需求。LoRA能够在参数更少的情况下持续匹配或超越全面微调基线。然而，除了基本模型之外，处理众多任务特定或用户特定的LoRA模块仍然存在重大的存储挑战。为了解决这个问题，我们引入了一种新方法LoRA-XS（具有极小参数的低秩自适应），利用奇异值分解（SVD）进行参数有效微调。LoRA-XS在冻结的LoRA矩阵之间引入了一个小的r x r权重矩阵，这些矩阵是通过原始权重矩阵的SVD构造的。仅训练r x r权重矩阵确保与模型维度无关，从而实现更为参数有效的微调，特别是对于更大的模型。与LoRA相比，LoRA-XS在7B模型中可将可训练参数减少100倍以上。我们在各种规模上进行了基准测试，包括GLUE、GSM8k和MATH基准测试，结果表明我们的方法在参数效率方面优于LoRA和近期的最新方法，如VeRA，同时保持竞争性能。

LoRA-XS试图解决在处理大量任务特定或用户特定的LoRA模块时，存储挑战的问题。

LoRA-XS利用奇异值分解（SVD）构建冻结的LoRA矩阵之间的小r x r权重矩阵，从而实现更加参数有效的微调。

LoRA-XS在7B模型中比LoRA减少了100倍以上的可训练参数，同时在GLUE、GSM8k和MATH基准测试中表现优异。

与LoRA和VeRA等最新技术进行了比较。