VB-LoRA: Extreme Parameter Efficient Fine-Tuning with Vector Banks

随着大型语言模型的采用增加以及对每个用户或每个任务模型定制的需求增长，参数高效的微调方法（PEFT）如低秩适应（LoRA）及其变体会产生巨大的存储和传输成本。为了进一步减少存储的参数，我们引入了一种“分而共享”的范例，通过一个“向量库”全局共享参数，打破了低秩分解在矩阵维度、模块和层之间的障碍。作为该范例应用于LoRA的一种实例，我们提出的VB-LoRA从一个共享的“向量库”中组合了LoRA的\textit{所有}低秩矩阵，并使用可微的前$k$个混合模块。VB-LoRA在保持与最先进的PEFT方法相当或更好的性能的同时，实现了极端的参数效率。广泛的实验表明，VB-LoRA在自然语言理解、自然语言生成和指令调整任务上的有效性。在对Llama2-13B模型进行微调时，VB-LoRA仅使用了LoRA存储参数的0.4\%，却获得了卓越的结果。我们的源代码可在\url{https://github.com/leo-yangli/VB-LoRA}上获得。

本文旨在解决参数效率低的fine-tuning方法在存储和传输成本方面的问题，提出了一种全局参数共享的“divide-and-share”范式，并将其应用于LoRA算法，提出了VB-LoRA算法。

VB-LoRA算法采用可微的top-k混合模块，从共享的向量库中组合所有LoRA的低秩矩阵，从而实现了极端的参数效率，同时保持了与最先进的PEFT方法相当或更好的性能。

VB-LoRA算法在自然语言理解、自然语言生成和指令调整任务上进行了广泛的实验，结果表明其有效性。当对Llama2-13B模型进行fine-tuning时，VB-LoRA仅使用了LoRA存储参数的0.4％，但达到了更优秀的结果。该论文提供了开源代码。

相关研究包括PEFT方法中的低秩适应（LoRA）和其变体，以及其他参数效率方法如Sparse-VD和Block-Term Decomposition。