How Does Distribution Matching Help Domain Generalization: An Information-theoretic Analysis

本文旨在实现跨多个训练领域的不变性，从而增强对于分布外数据的泛化。虽然梯度或表示匹配算法取得了显著成功，但这些方法通常缺乏泛化保证或依赖于强假设，从而在理解分布匹配的基本机制方面存在差距。在本文中，我们从新颖的概率角度制定了域泛化的问题，确保了鲁棒性，同时避免了过于保守的解决方案。通过全面的信息论分析，我们提供了关于梯度和表示匹配在促进泛化方面的关键见解。我们的结果揭示了这两个组成部分之间的互补关系，表明仅关注梯度或表示对齐的现有方法不足以解决域泛化问题。鉴于这些理论发现，我们引入了IDM，以同时对齐跨域梯度和表示。结合复杂分布匹配的提出的PDM方法，IDM在各种基线方法上实现了优越的性能。

本论文旨在解决域泛化问题，即如何学习多个训练域之间的不变性，从而提高对于分布不同的数据的泛化能力。

本论文从概率的角度出发，提出了一种新的域泛化方法，同时考虑梯度匹配和表示匹配的作用，通过信息论分析揭示了两者之间的互补关系。

本论文提出的 IDM 方法在多个基准数据集上都取得了优于现有方法的表现，实验结果表明梯度匹配和表示匹配两者缺一不可，值得进一步研究。

近期的相关研究包括：《Domain Generalization via Conditional Invariant Representation Learning》、《Adversarial Domain Adaptation with Domain Mixup》等。