Adapting to Distribution Shift by Visual Domain Prompt Generation

本文旨在利用少量未标记数据，在测试时对模型进行调整以应对分布变化。为了解决从有限数据中提取领域知识的挑战，利用预训练的骨干网络和源域的相关信息至关重要。以往的研究未能利用具有强大的超出分布泛化能力的最新基础模型。此外，他们的设计不够注重领域中心。此外，他们采用建模源域和学习适应的过程，在不相交的训练阶段中进行。在本文中，我们提出了一种基于基础模型的预计算特征的方法。具体来说，我们建立了一个知识库，从源域学习可转移的知识。在少量目标数据的条件下，我们引入一个领域提示生成器，将知识库压缩为领域特定的提示。然后，领域提示通过指导模块将视觉特征指向特定的领域。此外，我们提出了领域感知对比损失，并采用元学习来促进领域知识的提取。进行了大量实验以验证领域知识的提取。所提出的方法在包括WILDS和DomainNet在内的5个大规模基准测试中优于以往的工作。

在测试时使用少量未标记数据来适应模型以解决分布偏移问题。

利用预训练的骨干网络和源域的相关信息，构建知识库来提取可转移的知识。通过少量目标数据，引入域提示生成器将知识库压缩为特定于域的提示。然后，通过引导模块将视觉特征指向特定域。

该方法在5个大型基准数据集上进行了广泛实验，并超过了以前的工作。论文提出了一个领域感知对比损失和元学习来促进领域知识提取。

最近的相关研究包括：“Domain Generalization with Adversarial Feature Learning”、“Learning Transferable Features with Deep Adaptation Networks”、“Unsupervised Domain Adaptation by Backpropagation”等。