SETA: Semantic-Aware Token Augmentation for Domain Generalization

域泛化（DG）旨在增强模型对领域转移的稳健性，而不需要访问目标领域。 DG 方法中普遍的一类方法是数据增强，它专注于生成虚拟样本来模拟领域转移。然而，现有的 DG 增强技术主要针对卷积神经网络（CNN），在基于令牌的架构，即视觉变换器（ViT）和多层感知器（MLP）模型方面的探索有限。在本文中，我们研究了先前基于 CNN 的增强方法对基于令牌的模型的影响，揭示了它们的性能不够优秀，因为缺乏激励模型学习整体形状信息。为了解决这个问题，我们提出了 SEmantic-aware Token Augmentation（SETA）方法。SETA通过扰动局部边缘线索来转换令牌特征，同时保留全局形状特征，从而增强了模型对形状信息的学习。为了进一步增强模型的泛化能力，我们结合了两种最先进的样式增强方法，引入了我们方法的两个风格化变体。我们提供了关于我们方法的理论洞见，证明了它在降低泛化风险界限方面的有效性。在五个基准测试中进行的全面实验证明，我们的方法在各种 ViT 和 MLP 架构中均实现了 SOTA 性能。我们的代码可在 https://github.com/lingeringlight/SETA 上获取。

本文旨在解决域泛化中数据增强方法主要针对CNN模型的问题，对于基于token的模型（如ViT和MLP）的性能提升有限的问题。

本文提出了一种名为SEmantic-aware Token Augmentation (SETA)的方法，通过扰动局部边缘线索来转换token特征，同时保留全局形状特征，从而增强模型对形状信息的学习。

本文提出的SETA方法在ViT和MLP模型上都取得了SOTA的性能表现。此外，本文还提出了两种基于样式增强的SETA变体，实验结果表明这些方法在提高模型泛化能力方面也很有效。研究人员还提供了开源代码。

在相关研究方面，本文提到了许多以前的工作，如基于CNN的域泛化数据增强方法。