VB-LoRA: Extreme Parameter Efficient Fine-Tuning with Vector Banks

随着大型语言模型的采用增加和对每个用户或每个任务模型定制需求的增长，参数高效微调（PEFT）方法，如低秩适应（LoRA）及其变体，会产生大量的存储和传输成本。为了进一步减少存储的参数，我们引入了一种“分而共享”的范例，通过全局共享参数向量库打破了低秩分解在矩阵维度、模块和层之间的障碍。作为范例的一个实例，我们提出的VB-LoRA将LoRA的所有低秩矩阵与可微的top-k混合模块从共享的向量库中组合。VB-LoRA实现了极端的参数效率，同时保持与最先进的PEFT方法相当或更好的性能。广泛的实验表明，VB-LoRA在自然语言理解、自然语言生成和指令调整任务上的有效性。当微调Llama2-13B模型时，VB-LoRA仅使用LoRA存储参数的0.4％，但实现了更好的结果。我们的源代码可在https://github.com/leo-yangli/VB-LoRA上获得。

论文旨在解决大型语言模型的参数定制化问题，提出了一种更加存储和计算效率高的参数优化方法。

论文提出了一种“分而共享”的思路，通过共享全局向量库中的参数来打破低秩分解在矩阵维度、模块和层之间的限制。在此基础上，论文提出了VB-LoRA方法，将LoRA中的低秩矩阵从共享向量库中组合起来，使用可微的top-k混合模块，从而实现了极高的参数效率。

论文通过实验验证了VB-LoRA在自然语言理解、生成和指令调整任务中的有效性，证明了其在参数效率和性能方面的优势。此外，论文提供了开源代码，可供其他研究者使用和参考。

近期的相关研究包括：1.《Low-rank Matrix Factorization for Deep Neural Network Training with High-dimensional Output Targets》；2.《Efficient Parameter-Free Structured Pruning via Variance-based Adaptive Learning Rates》；3.《Adaptive Low-rank Matrix Factorization for Efficient and Effective Collaborative Filtering》。