ZoDi: Zero-Shot Domain Adaptation with Diffusion-Based Image Transfer

深度学习模型在分割任务中取得了高准确度，但领域漂移经常会降低模型的性能，这在现实世界中可能是关键的，因为没有目标图像可用。本文提出了一种基于扩散模型的零样本域自适应方法，称为ZoDi，其设计是双重的：零样本图像转换和模型自适应。首先，我们利用现成的扩散模型将源图像的领域转移到目标领域，通过合成类似目标图像的图像。在此过程中，我们特别尝试通过使用带有随机反演的布局到图像扩散模型来保持布局和内容。其次，我们使用原始分割地图训练模型，同时使用源图像和合成图像，通过最大化两个领域的图像特征相似性来学习领域鲁棒性表示。通过实验证明了ZoDi在图像分割任务中优于现有的最先进方法。与现有的基于CLIP的方法相比，它更具适用性，因为它不需要特定的骨干或模型，并且它可以通过检查生成的图像来估计模型的性能，而无需目标图像。我们的实现将公开提供。

本论文旨在解决深度学习模型在领域转移时性能下降的问题，提出了一种基于扩散模型的零样本领域自适应方法（ZoDi）。

该方法通过利用扩散模型合成目标域的图像，并使用源图像和合成图像训练模型，同时最大化两个域的特征相似性来学习具有域鲁棒性的表示，实现了零样本图像转移和模型自适应。

论文的实验表明，ZoDi在图像分割任务上优于现有的最先进方法，并且比现有的基于CLIP的方法更具适用性，因为它不需要特定的骨干或模型，并且它能够通过检查生成的图像来估计模型的性能。作者还开源了他们的实现。

与本论文相关的研究包括领域自适应和零样本学习方法，以及扩散模型在图像合成中的应用。