Rethinking Domain Adaptation and Generalization in the Era of CLIP

最近在领域自适应的研究中，人们极为重视从源领域到目标领域学习共享知识的进展。最近，大型视觉-语言预训练模型CLIP在零样本识别方面表现出很强的能力，参数有效调整可以进一步提高其在特定任务上的性能。本文表明，一个简单的领域先验可以提高CLIP在特定领域的零样本识别能力。此外，由于其多样化的预训练数据集，CLIP的适应能力对源领域数据的依赖较小。此外，我们还为基于CLIP的零样本自适应和伪标签自训练创建了一个基准。最后但并非最不重要的，我们提出了从多个未标记领域提高CLIP任务泛化能力的方法，这是一个更实际和独特的场景。我们相信我们的发现将激发人们重新思考领域自适应基准以及相关算法在CLIP时代的作用。

本篇论文旨在探讨如何通过域先验来提高CLIP模型的零样本识别能力，并提出一种基于CLIP的零样本自训练方法，同时提高模型在多个无标签领域的任务泛化能力。

通过引入域先验，提高CLIP模型的零样本识别能力。同时，提出一种基于CLIP的零样本自训练方法，并探讨如何提高模型在多个无标签领域的任务泛化能力。

论文使用大规模视觉-语言预训练模型CLIP，探讨如何通过域先验来提高模型的零样本识别能力。提出一种基于CLIP的零样本自训练方法，并创建了一个基准用于零样本自适应和伪标签自训练。同时，探讨了如何提高模型在多个无标签领域的任务泛化能力。论文开源代码并提供了实验结果。

相关研究包括：1. Zero-shot learning with visual-semantic embedding models. 2. Domain adaptation in computer vision. 3. Self-training for domain adaptation using unlabeled data.