Domain Generalization Guided by Large-Scale Pre-Trained Priors

领域泛化（DG）旨在从有限的源域中训练模型，使其能够推广到未知的目标域。通常，DG模型只在微调的初始化阶段使用大规模预训练模型。然而，大规模预训练模型已经具备抵抗领域转移的能力。如果我们在整个微调过程中不断参考预训练模型以保持这种能力，可以进一步增强DG模型的泛化能力。为此，我们提出了一种新方法，称为使用大规模预训练先验进行微调（FT-LP），将预训练模型作为先验融入DG微调过程中，确保模型在每个优化步骤中都参考其预训练模型。FT-LP包括一个理论框架和一个简单的实现策略。在理论上，我们通过引入带有预训练先验的泛化误差界来验证FT-LP的合理性。在实现上，我们利用编码器模拟模型分布，使得在只有预训练权重可用时可以使用FT-LP。总之，我们提供了一种新的微调方法，使DG算法可以在整个微调过程中利用预训练模型。通过在各种数据集和DG模型上进行实验，我们提出的方法展现了显著的改进，表明其有效性。

本论文旨在解决域泛化（DG）中的问题，即如何通过有限的源域训练模型，使其能够推广到未知的目标域。

FT-LP是一种新的fine-tuning方法，将预训练模型作为先验信息引入到DG的fine-tuning过程中，使模型在每个优化步骤中都参考其预训练模型，从而进一步提高DG模型的泛化能力。

该论文提出了FT-LP方法，并在各种数据集和DG模型上进行了实验，证明了该方法的有效性。论文还提出了FT-LP的理论框架和简单实现策略。此外，该论文还引入了预训练先验的泛化误差界，并提供了开源代码。

在这个领域中，最近的相关研究包括：《Domain Generalization with Adversarial Feature Learning》、《Deep Domain Generalization via Conditional Invariant Adversarial Networks》等。