Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning

Low-Rank Adaptation（LoRA）提供了一种有效的方法来微调大型语言模型（LLMs）。它的模块化和即插即用的特性允许集成各种特定领域的LoRA，增强LLM的能力。像Huggingface和Modelscope这样的开源平台引入了一种新的计算范式，可上传的机器学习（UML）。在UML中，贡献者使用分散的数据来训练专门的适配器，然后将其上传到中央平台以改进LLMs。该平台使用这些特定领域的适配器来处理需要个性化服务的混合任务请求。以前关于LoRA组合的研究要么专注于特定任务，要么在训练期间固定LoRA选择。然而，在UML中，LoRA池会随着新上传的内容而动态更新，需要针对未见过的LoRA进行可推广的选择机制。此外，下游请求的混合任务性质需要个性化服务。为了解决这些挑战，我们提出了Retrieval-Augmented Mixture of LoRA Experts（RAMoLE），这是一个基于输入提示自适应检索和组合多个LoRA的框架。RAMoLE有三个主要组成部分：LoraRetriever用于识别和检索相关的LoRA，即时MoLE机制用于协调检索到的LoRA，以及高效的批量推理用于处理异构请求。实验结果表明，RAMoLE始终优于基线，突出了其有效性和可扩展性。

本论文旨在解决大型语言模型fine-tune的效率问题，提出了一种模块化的、可插拔的Low-Rank Adaptation (LoRA)方法，并结合开源平台Huggingface和Modelscope的Uploadable Machine Learning (UML)模式，提出了Retrieval-Augmented Mixture of LoRA Experts (RAMoLE)框架，以解决动态更新LoRA池和个性化服务的问题。

论文提出了一种自适应检索和组合多个LoRA的框架RAMoLE，包括LoraRetriever、MoLE机制和批量推理三个主要组件，实现了动态检索和组合LoRA，提高了模型的效率和性能。

论文的亮点包括：1. 提出了一种自适应检索和组合多个LoRA的框架RAMoLE；2. 实验结果表明RAMoLE优于基线方法；3. 使用了开源平台Huggingface和Modelscope的Uploadable Machine Learning (UML)模式，提高了模型的可扩展性和效率。

近期的相关研究包括：1. 基于知识图谱的语言模型fine-tune方法（《Knowledge Graph Enhanced Language Model Fine-tuning》）；2. 一种基于元学习的模型自适应方法（《Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks》）。