Diffusion Features to Bridge Domain Gap for Semantic Segmentation

本文研究了如何利用预训练扩散模型中的隐式知识来解决跨域语义分割中的挑战。我们探讨了利用采样和融合技术高效利用扩散模型特征的方法。与先前研究中表现为简单迁移应用相反，我们的研究发现，扩散模型中固有的多步扩散过程表现出更加强大的语义特征。我们提出了扩散特征融合（DIFF）作为提取和整合扩散过程中有效语义表示的骨干使用。通过利用文本到图像生成能力的优势，我们引入了一种新的训练框架，旨在从中隐含地学习后验知识。在域泛化语义分割的背景下，我们通过严格的评估，证明了我们的方法在缓解不同领域之间的差异方面超过了先前的方法，并达到了最先进的基准（SOTA）。在从合成到真实（syn-to-real）的情境下，我们的方法显著优于基于ResNet和Transformer的骨干方法，在各种数据集上平均提高了3.84％的mIoU。实现代码将很快发布。

本文旨在利用预训练扩散模型中的隐式知识来解决跨域语义分割中的挑战。研究表明，扩散模型中的多步扩散过程表现出更强的语义特征，因此本文提出了Diffusion Feature Fusion（DIFF）方法，用于通过扩散过程提取和集成有效的语义表示。

DIFF方法是本文的关键思路，通过采样和融合技术高效利用扩散模型的特征。同时，本文还利用文本到图像生成能力设计了一种新的训练框架，用于从中隐式学习后验知识。

本文在领域泛化语义分割和syn-to-real语义分割的情境下进行了严格评估，并取得了优于之前方法的结果。实验结果表明，DIFF方法在各种数据集上平均提高了3.84％的mIoU。该实现代码即将发布。

最近的相关研究包括：Domain Generalization for Semantic Segmentation with Maximum Squares Loss、Deep Adversarial Attention Alignment for Unsupervised Domain Adaptation: the Benefit of Target Expectation Maximization和Cross-Domain Semantic Segmentation via Progressive Alignment Refinement。