Source-Free Domain Adaptation Guided by Vision and Vision-Language Pre-Training

无源领域自适应（SFDA）旨在将在完全标记的源域上训练的源模型适应到相关但未标记的目标域。虽然源模型是获取目标伪标签的关键途径，但生成的伪标签可能存在源偏差。在传统的SFDA流程中，使用大型数据（例如ImageNet）预训练的特征提取器来初始化源模型，然后丢弃。尽管具有重要的泛化特征，但预训练的特征提取器在源培训期间可能会过度拟合源数据分布并忘记相关的目标领域知识。我们引入了一个集成框架来将预训练网络纳入目标自适应过程中，而不是丢弃这个有价值的知识。所提出的框架是灵活的，并允许我们将现代预训练网络插入到自适应过程中，以利用它们更强的表示学习能力。对于自适应，我们提出了共同学习算法，通过源模型和预训练特征提取器协同改进目标伪标签的质量。在最近的视觉语言模型CLIP在零样本图像识别方面的成功基础上，我们提出了一个扩展版的Co-learn++，进一步融合了CLIP的零样本分类决策。我们在3个基准数据集上进行了评估，并包括更具挑战性的场景，如开放集、部分集和开放部分SFDA。实验结果表明，我们提出的策略改善了自适应性能，并可以成功地与现有的SFDA方法集成。

本文旨在解决源领域自动标记模型对目标领域存在偏见的问题，提出了一种集成预训练网络的框架，用于改进目标领域自适应。

本文提出了一种灵活的方法，将预训练网络集成到目标自适应过程中，以利用其更强的表示学习能力。对于自适应，提出了协同学习算法来通过源模型和预训练特征提取器协同改进目标伪标签质量。

实验结果表明，本文提出的策略可以提高自适应性能，并可成功与现有的源领域自动标记方法集成。文章还介绍了一个扩展Co-learn ++，以进一步整合CLIP的零-shot分类决策。

在源领域自动标记和目标领域自适应方面，已经有了大量的研究。例如，Borgwardt等人提出了一种半监督核规范化方法，用于跨领域分类。Ganin等人提出了一种领域对抗性训练方法，用于跨领域图像分类。