DPStyler: Dynamic PromptStyler for Source-Free Domain Generalization

这篇论文讨论了一个名为“无源领域泛化”的问题，即如何开发一种模型，使其能够在没有任何源域的情况下适用于未见过的目标域。最近的研究——PromptStyler，利用文本提示来模拟联合视觉语言空间中的不同分布转换，使模型能够在不使用任何图像的情况下有效地推广到未见过的域。然而，PromptStyler的风格生成策略存在局限性，因为所有风格模式在第一阶段训练后都是固定的，这导致第二阶段训练集被限制在有限的一组风格上。另外，PromptStyler中的冻结文本编码器导致编码器的输出随着输入文本提示的风格而变化，使模型难以学习到域不变特征。为了解决这些问题，本文引入了Dynamic PromptStyler（DPStyler），包括风格生成和风格去除模块。风格生成模块在每个训练时期刷新所有风格，而风格去除模块消除了由输入风格引起的编码器输出特征的变化。此外，由于负责使用随机抽样或风格混合生成风格词向量的风格生成模块使模型对输入文本提示敏感，因此我们引入了模型集成方法来减轻这种敏感性。大量实验证明，我们的框架在基准数据集上优于现有的最先进方法。

论文旨在开发一种模型，能够在不依赖于任何源域的情况下，适用于未见过的目标域。同时，解决PromptStyler存在的样式生成策略和编码器输出特征变化的问题。

Dynamic PromptStyler（DPStyler）由Style Generation和Style Removal模块组成，用于解决PromptStyler存在的问题。Style Generation模块在每个训练时期刷新所有样式，而Style Removal模块消除了由输入样式引起的编码器输出特征的变化。此外，为了减轻模型对输入文本提示的敏感性，引入了模型集成方法。

论文在基准数据集上进行了广泛的实验，证明了该框架在未见过的目标域上的性能优于现有的最先进方法。此外，论文还探讨了样式生成和移除模块的影响，并提供了开源代码。

最近的相关研究包括：1) Domain Generalization（DG）和Source-Free Domain Generalization（SFDG）；2）使用文本提示进行领域适应的方法，如PromptStyler和StyleFormer。