Low-Rank Few-Shot Adaptation of Vision-Language Models

最近，在视觉语言模型（VLMs）的少样本适应方面取得了进展，进一步推动了它们的泛化能力，只需要在目标下游任务中标记几个样本。然而，这个已经相当丰富的少样本文献主要集中在提示学习上，对适配器的关注较少，忽视了参数高效微调（PEFT）的最新进展。此外，现有的VLMs少样本学习方法通常依赖于繁重的训练过程和/或精心选择的任务特定超参数，这可能会妨碍它们的适用性。为此，我们引入了LoRA（低秩适应）在VLMs的少样本学习中，并展示了它在11个数据集上的潜力，与当前最先进的基于提示和适配器的方法进行比较。令人惊讶的是，我们简单的CLIP-LoRA方法展现了显著的改进，同时减少了训练时间，并在所有目标任务中保持相同的超参数，即在所有数据集和样本数中都适用。当然，我们惊人的结果并不排除提示学习和基于适配器的研究的潜力。然而，我们相信我们强有力的基线可以用来评估这些新兴主题在少样本VLMs中的进展。

本论文旨在解决视觉语言模型（VLMs）在少样本学习中的泛化能力问题，提出了一种称为Low-Rank Adaptation（LoRA）的方法。同时，论文试图通过比较不同方法在11个数据集上的表现，评估当前少样本学习方法的研究进展。

LoRA方法通过低秩逼近的方式对VLMs进行微调，使其在少样本学习任务中表现更好。相比当前主流的prompt-learning和adapter-based方法，LoRA方法更加简单高效，且不需要针对特定任务调整超参数。

论文在11个数据集上进行了实验，展示了LoRA方法在少样本学习中的优越性。同时，论文提出的CLIP-LoRA方法在实验中表现出色，且具有更短的训练时间和更简单的超参数设置。此外，论文还提到了当前少样本学习方法的局限性和未来研究方向。

当前在少样本学习领域中，已经有很多关于VLMs的研究，主要集中在prompt-learning和adapter-based方法。其中，一些相关的论文包括Meta-Learning with Implicit Gradients、Few-Shot Learning with Graph Neural Networks、Adapters for Learning Across Domains等。