Domain Adaptation（DA: 域自适应），Domain Generalization（DG: 域泛化）一直以来都是各大顶会的热门研究方向。DA假设我们有有一个带标签的训练集（源域），这时候我们想让模型在另一个数据集上同样表现很好（目标域），利用目标域的无标签数据，提升模型在域间的适应能力是DA所强调的。以此为基础，DG进一步弱化了假设，我们只有多个源域的数据，根本不知道目标域是什么，这个时候如何提升模型泛化性呢？核心在于如何利用多个源域带来的丰富信息。

通过域对抗训练(Domain AdversarialTraining: DAT)最小化域分歧（domain divergence），在DA/DG任务中显示出了很好的的泛化性能。在backbone+classifier的基础上增加一个域分类器来对特征归属的域进行分类，在梯度反传至backbone时将符号取负，以此训练backbone让他的特征与域信息无关，只与分类信息相关。尽管DAT具有领域适应和领域泛化的能力，但它以难以训练和收敛而闻名。

本文介绍发表于ICLR 2023的文章《Free Lunch for Domain Adversarial Training: Environment Label Smoothing 》，只需要对DAT算法的域分类器进行一行代码的修改，就可以在多种任务上取得更好的泛化效果，训练稳定性，以及收敛速度。

论文标题：Free Lunch for Domain Adversarial Training: Environment Label Smoothing

论文作者：Yi-Fan Zhang , Xue Wang , Jian Liang , Zhang Zhang , Liang Wang , Rong Jin , Tieniu Tan

论文链接：paper

代码链接：code

摘要：机器学习模型的一个基本挑战是如何针对分布外 (OOD) 数据推广学习模型。 在各种方法中，通过域对抗训练（DAT）利用不变特征受到了广泛关注。 尽管取得了成功，但我们观察到 DAT 的训练不稳定，这主要是由于过于自信的域鉴别器和环境标签噪声。 为了解决这个问题，我们提出了环境标签平滑（Environment Label Smoothing，ELS），鼓励判别器输出软概率，从而降低判别器的信心并减轻嘈杂环境标签的影响。 我们通过实验和理论证明，ELS 可以提高训练稳定性、局部收敛性和对嘈杂环境标签的鲁棒性。 通过将 ELS 与 DAT 方法相结合，我们能够产生在广泛的领域泛化/适应任务上取得了最先进的结果，特别是当环境标签非常嘈杂时。