Task-Aware Low-Rank Adaptation of Segment Anything Model

本文介绍了一种名为“Segment Anything Model”（SAM）的图像分割任务基础模型，该模型具有非常出色的零样本能力。然而，如何将其丰富的语义信息传递给多个不同的下游任务仍未被探索。因此，本文提出了一种名为“Task-Aware Low-Rank Adaptation”（TA-LoRA）的方法，使SAM能够作为多任务学习的基础模型。具体来说，TA-LoRA将更新参数张量注入到SAM编码器的每一层中，并利用低秩张量分解方法将任务共享和任务特定信息结合起来。此外，本文还介绍了一种修改版的SAM（mSAM），用于多任务学习，其中我们删除了SAM的提示编码器，并针对每个任务使用特定的无掩码嵌入和掩码解码器。大量实验在基准数据集上进行，证实了TA-LoRA在多个下游任务上提高mSAM性能的有效性。

论文旨在探索SAM模型在多任务学习中的应用，如何将其丰富的语义信息传递到多个不同的下游任务中。

TA-LoRA方法将更新参数张量注入SAM编码器的每一层，并利用低秩张量分解方法来融合任务共享和任务特定信息，提高多任务学习的性能。同时，通过修改SAM模型（mSAM）的结构，利用任务特定的无掩码嵌入和掩码解码器来处理多任务。

论文在多个基准数据集上进行了广泛的实验，证明了TA-LoRA方法在多个下游任务中提高了mSAM的性能。此外，论文开源了代码，为后续的研究提供了便利。

近期的相关研究包括：《Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics》、《Multi-Task Learning for Segmentation of Building Footprints with Deep Neural Networks》等。