Mixture-of-LoRAs: An Efficient Multitask Tuning for Large Language Models

指令调整具有激发或增强大型语言模型（LLMs）特定能力的潜力。然而，实现正确的数据平衡对于防止灾难性遗忘和任务间干扰至关重要。为了解决这些限制并增强训练灵活性，我们提出了一种新颖且参数高效的调整方法——Mixture-of-LoRAs（MoA）架构，专门用于LLMs的多任务学习。在本文中，我们首先使用相应的监督语料库数据单独训练多个特定领域的LoRA模块。这些LoRA模块可以与Mixture-of-Experts（MoE）中观察到的专家设计原则相对齐。随后，我们使用明确的路由策略组合多个LoRAs，并引入领域标签以便于多任务学习，这有助于防止任务间干扰，最终提高了每个单独任务的性能。此外，每个LoRA模型可以迭代地适应新领域，实现快速的特定领域适应。在各种任务上的实验表明，该方法具有卓越和稳健的性能，可以进一步促进特定领域LLMs的广泛应用。

本文旨在解决大语言模型（LLMs）在多任务学习中的数据平衡问题，避免灾难性遗忘和任务间的干扰，提高性能。

本文提出了一种新的参数高效的调整方法——Mixture-of-LoRAs（MoA）架构，通过使用多个域特定的LoRA模块和显式路由策略来实现多任务学习。此外，每个LoRA模型还可以迭代地适应新的领域。

本文的实验结果表明，MoA架构在不同任务上具有优越和稳健的性能。此外，本文的方法还可以快速适应新的领域。本文的工作为LLMs的多任务学习提供了新思路和新方法。

近期的相关研究包括：《Mixture of Experts》、《Dynamic Routing Between Capsules》、《Attention is All You Need》等。