Improve Cross-domain Mixed Sampling with Guidance Training for Adaptive Segmentation

无监督领域自适应（UDA）旨在调整在源领域上训练的模型，使其在目标领域上表现良好，而不需要额外的注释。在解决密集预测的领域自适应语义分割的背景下，目标是避免昂贵的像素级注释。通常，各种流行的基线方法依赖于通过跨域混合采样技术构建中间域，以减轻由于域间差距导致的性能下降。然而，这种方法会生成与真实世界分布不同的合成数据，可能导致模型偏离真实的目标分布。为了解决这个挑战，我们提出了一种新的辅助任务，称为指导训练。该任务促进了跨域混合采样技术的有效利用，同时减轻了来自真实世界的分布偏移。具体而言，指导训练引导模型从混合数据中提取和重构目标域特征分布，然后解码重构的目标域特征以进行伪标签预测。重要的是，集成指导训练所需的训练开销很小，不会增加额外的推理负担。我们通过将其与现有方法集成来展示我们方法的功效，从而不断提高性能。该实现将在https://github.com/Wenlve-Zhou/Guidance-Training上提供。

本论文旨在解决无监督域自适应的语义分割问题，即如何在不需要额外注释的情况下，将模型从源域调整到目标域以实现更好的性能。

本论文提出了一种新的辅助任务——Guidance Training，通过从混合数据中提取和重构目标域特征分布，再将重构后的目标域特征解码为伪标签预测，以实现有效利用交叉域混合采样技术的同时，减轻来自真实世界的分布偏移。

本论文的实验结果表明，Guidance Training可以与现有方法相结合，不仅提高了性能，而且训练开销小，没有额外的推理负担。此外，该论文的实验使用了多个数据集，并提供了开源代码。

在最近的研究中，也有一些类似的工作，如“Adversarial Discriminative Domain Adaptation for Semantic Segmentation”和“Domain Adaptive Semantic Segmentation with Self-supervised Depth Estimation”。