MTLoRA: A Low-Rank Adaptation Approach for Efficient Multi-Task Learning

在深度学习中，将预先训练好的模型适应于各种下游任务是一种常见的策略。因此，参数高效的微调方法已成为一种将预先训练好的模型适应于不同任务的有前途的方式，同时仅训练最少数量的参数。虽然大多数这些方法是为单任务适应而设计的，但在多任务学习（MTL）架构中进行参数高效训练仍未被探索。在本文中，我们介绍了MTLoRA，一种用于参数高效训练MTL模型的新框架。MTLoRA采用任务不可知和任务特定的低秩适应模块，有效地将MTL微调中的参数空间分离，从而使模型能够熟练处理MTL上下文中的任务专业化和交互。我们将MTLoRA应用于基于分层变压器的MTL架构，将它们适应于多个下游密集预测任务。我们在PASCAL数据集上进行了广泛的实验，结果显示，与完全微调MTL模型相比，MTLoRA在下游任务上实现了更高的准确性，同时将可训练参数的数量减少了3.6倍。此外，MTLoRA建立了可训练参数数量和下游任务准确性之间的帕累托最优权衡，优于当前最先进的参数高效训练方法，无论在准确性还是效率方面。我们的代码是公开可用的。

本论文旨在解决多任务学习（MTL）中参数高效训练的问题。当前，大多数参数高效微调方法都是针对单任务适应的，而在MTL结构中的参数高效训练尚未被探索。

MTLoRA是一种新颖的框架，用于MTL模型的参数高效训练。该框架采用Task-Agnostic和Task-Specific Low-Rank Adaptation模块，有效地解开了MTL微调中的参数空间，从而使模型能够熟练处理MTL上下文中的任务专业化和交互。

本论文在PASCAL数据集上对MTLoRA进行了广泛的实验，将其应用于基于分层Transformer的MTL架构，使其适应多个下游密集预测任务。结果表明，MTLoRA在减少可训练参数的同时，在下游任务上实现了更高的准确性，比完全微调MTL模型的可训练参数数量减少了3.6倍。此外，MTLoRA在可训练参数数量和下游任务准确性之间建立了帕累托最优的权衡，不仅在准确性方面，而且在效率方面都优于当前最先进的参数高效训练方法。本文代码已公开。

与本论文相关的研究包括参数高效微调方法和MTL模型。其中，本文提出的MTLoRA框架与当前的参数高效微调方法不同，并且在MTL模型的参数高效训练方面还没有类似的研究。