Contrastive Adversarial Training for Unsupervised Domain Adaptation

域对抗训练已经证明了其有效的能力，可以找到域不变的特征表示，并成功地应用于各种域自适应任务。然而，大型模型（例如视觉变换器）的最新进展和复杂适应场景（例如DomainNet）的出现使得对抗训练很容易偏向源域，并且很难适应目标域。原因有两个：依赖于源域的大量标记数据进行大型模型训练，缺乏目标域的标记数据进行微调。现有方法广泛关注增强鉴别器或改善主干网络的训练稳定性。由于在对抗训练期间特征提取器和鉴别器之间的不平衡竞争，现有解决方案在复杂数据集上无法很好地发挥作用。为了解决这个问题，我们提出了一种新颖的对比对抗训练（CAT）方法，利用标记的源域样本来加强和调节目标域的特征生成。通常，调节力度使目标特征分布类似于源特征分布。CAT解决了对抗学习中的三个主要挑战：1）确保两个域的特征分布在鉴别器的判别下尽可能不可区分，从而产生更具鲁棒性的域不变特征生成；2）鼓励目标样本在特征空间中向源样本靠近，减少对在标记源域上训练的泛化分类器对未标记目标域的要求；3）避免直接在小批量中对齐未配对的源和目标样本。CAT可以很容易地插入现有模型，并展示了显著的性能提升。

本论文旨在解决领域适应中对于目标域数据不足的问题，以及当前领域对于大型模型（如视觉变换器）在复杂适应场景下容易偏向源域的问题。

该论文提出了一种新的对抗训练方法——对比对抗训练（CAT），通过使用标记的源域样本来强化和调节目标域的特征生成，从而解决领域适应中的三大挑战。

论文的实验结果表明，CAT方法在多个数据集上均取得了显著的性能提升，且可以轻松地插入到现有模型中。此外，论文还探究了CAT方法的不同变体，并对比了不同方法的性能。

近期的相关研究包括：1）基于对抗训练的领域适应方法，如DANN、CDAN等；2）基于元学习的领域适应方法，如MAML、ANIL等。