Unknown Domain Inconsistency Minimization for Domain Generalization

本文旨在增强从源域学习到的模型到未观察到的域的可转移性，即域通用性（DG）。为了防止对特定域过度拟合，锐度感知最小化（SAM）减少了源域损失的锐度。尽管SAM的变体在DG方面取得了显着的改进，但我们强调，通过对数据空间的探索，仍有潜力改进对未知域的泛化。本文介绍了一种既根植于参数又根植于数据扰动区域的DG目标，称为未知域不一致性最小化（UDIM）。UDIM减少了源域和未知域之间的损失景观不一致性。由于无法访问未知域，因此通过扰动源域数据集中的实例来经验地构建这些域。特别地，通过将源域获取的损失景观与扰动域的损失景观对齐，我们期望能够实现基于这些未知域的平坦最小值的泛化。从理论上讲，我们验证了将SAM优化与UDIM目标合并可以建立DG任务的真实目标的上限。在实证方面，UDIM在多个DG基准数据集上始终优于SAM变体。值得注意的是，在更严格的域信息情况下，UDIM显示出统计上显着的改进，强调了UDIM在未见域中的泛化能力。我们的代码可在\url{https://github.com/SJShin-AI/UDIM}上获得。

如何提高模型从源域到未知域的泛化能力？

提出了一种基于参数和数据扰动区域的目标函数，称为Unknown Domain Inconsistency Minimization (UDIM)，通过将源域的损失函数与扰动域的损失函数对齐来减少源域和未知域之间的损失函数不一致性，进而提高模型的泛化能力。

论文提出的UDIM方法在多个域泛化基准数据集上均优于Sharpness-Aware Minimization (SAM)方法，并且在更加严格的域信息限制情况下表现出了显著的改进。作者还验证了将SAM优化与UDIM目标相结合可以建立域泛化任务的真实目标的上限。论文提供了开源代码。

与本文相关的研究包括：Sharpness-Aware Minimization (SAM)以及其他域泛化方法，如MetaReg、DRE、MTL、MMD-AAE等。