MeteoRA: Multiple-tasks Embedded LoRA for Large Language Models

本文讨论了预训练+微调范式在部署大型语言模型（LLM）时的基础性作用，其中，Low-Rank Adaptation（LoRA）以其参数高效的微调（PEFT）而脱颖而出，可以生成众多现成的面向特定任务的LoRA适配器。然而，这种方法需要明确的任务意图选择，对于在单个LLM中嵌入多个现有的LoRA适配器进行推理时的自动任务感知和切换提出了挑战。在本文中，我们介绍了MeteoRA（Multiple-Tasks embedded LoRA），这是一个专为LLM设计的可扩展的多知识LoRA融合框架。MeteoRA将各种LoRA适配器以Mixture-of-Experts（MoE）风格集成到基础LLM中，使模型能够根据任务输入自动选择最相关的适配器。这种进步显著增强了LLM处理需要不同适配器来解决问题各个组成部分的复合任务的能力。我们的评估采用了装备有28个现成的LoRA适配器的LlaMA2-13B和LlaMA3-8B基础模型通过MeteoRA，证明了与单个适配器相当的性能。此外，两个装备了MeteoRA的基础模型在顺序解决包含十个问题的复合任务时实现了优越的性能，突显了MeteoRA嵌入LLM中及时意图切换的能力。

本文旨在解决在多个任务的推理过程中，如何自动选择最相关的任务适配器的问题。这个问题是当前大型语言模型面临的挑战之一。

本文提出了MeteoRA框架，将多个LoRA适配器以Mixture-of-Experts（MoE）的方式集成到基础LLM中，使得模型能够自动选择最相关的适配器。这个框架可以显著提高LLM处理复合任务的能力。

本文的实验表明，使用MeteoRA框架后，基础LLM在处理单个任务时的性能与单独使用适配器时相当。此外，使用MeteoRA框架的基础LLM在处理复合任务时，可以在单个推理过程中实现更好的性能。本文还提供了28个预训练的LoRA适配器，并公开了代码和数据集。

在相关研究方面，最近也有一些研究关注于如何在LLM中集成多个适配器。例如，ADAPTER和PET等都是类似的工作。