PracticalDG: Perturbation Distillation on Vision-Language Models for Hybrid Domain Generalization

领域通用化（DG）旨在解决源域和目标域之间的分布偏移问题，当前的DG方法默认数据源和目标域共享相同的类别。然而，在实际情况中，目标域中存在未知类别。为解决这个问题，开放集领域通用化（OSDG）已经出现，并提出了几种方法。然而，大多数现有方法采用复杂的架构，与DG方法相比只有轻微的改进。最近，在DG中引入了视觉语言模型（VLMs），但采用大型视觉模型需要耗费大量的训练开销。因此，在本文中，我们创新地将知识从VLMs转移至轻量级视觉模型，并通过引入扰动蒸馏（PD）从三个方面（得分、类别和实例）来提高鲁棒性，称为SCI-PD。此外，以前的方法是基于具有相同和固定分割的基准，忽略了源域之间的差异。这些方法在我们提出的新基准混合领域通用化（HDG）和一种新的度量$H^{2}$-CV下表现出明显的性能下降。这些新方法构建了各种分割以全面评估算法的鲁棒性。广泛的实验表明，我们的方法在多个数据集上优于现有的最先进算法，特别是在面对数据稀缺性时提高了鲁棒性。

本文旨在解决领域一般化（Domain Generalization）中存在的源域和目标域之间的分布偏移问题，并且针对实际场景中存在目标域中的未知类别的情况提出了开放集领域一般化（Open Set Domain Generalization）的方法。

文章提出了SCI-PD方法，通过从三个角度（得分、类别和实例）引入扰动蒸馏（Perturbation Distillation）来将知识从视觉语言模型（VLMs）转移到轻量级视觉模型，从而提高模型的鲁棒性。

本文提出了一个新的基准测试，名为混合领域一般化（Hybrid Domain Generalization），并使用新的度量标准$H^{2}$-CV来综合评估算法的鲁棒性。实验结果表明，SCI-PD方法在多个数据集上均优于现有算法，特别是在面对数据稀缺性时提高了模型的鲁棒性。

最近在这个领域中，还有一些相关的研究，例如："Domain Generalization with Adversarial Contrastive Learning"，"Learning to Learn from Data with Domain Generalization"，"Open Set Domain Generalization via Meta-Classifier Learning"等。