Synth-to-Real Unsupervised Domain Adaptation for Instance Segmentation

无监督领域自适应（UDA）旨在将从有标签源域学习到的知识转移到无标签目标域。尽管在合成到真实世界领域（synth-to-real）中，UDA方法在语义分割和目标检测等任务中表现出了显著的性能，但很少有针对实例分割任务提出的方法。本文介绍了一种名为UDA4Inst的synth-to-real UDA模型，用于自动驾驶中的实例分割。我们提出了一种新颖的跨域双向数据混合方法，用于在实例级别上充分利用来自源域和目标域的数据。还采用了稀有类别平衡和类别模块训练等方法来进一步提高性能。值得注意的是，我们是第一个在两个新的synth-to-real实例分割基准上展示结果的，UrbanSyn->Cityscapes的mAP为39.0，Synscapes->Cityscapes的mAP为35.7。UDA4Inst还在SYNTHIA->Cityscapes上实现了最先进的结果，mAP为31.3，比最新方法高出15.6。我们的代码将会被发布。

本文旨在解决无标签目标域的实例分割问题，提出了一种基于合成数据到真实场景数据的无监督域自适应方法（UDA4Inst），并在两个新的合成数据到真实场景数据实例分割基准上展示了结果。

本文提出了一种新的交叉域双向数据混合方法，以实例为单位，充分利用源域和目标域的数据。同时，还采用了罕见类别平衡和类别模块训练来进一步提高性能。

本文在两个新的合成数据到真实场景数据实例分割基准上展示了结果，并在 SYNTHIA->Cityscapes 上取得了31.3 mAP的最新成果，比最新方法高出15.6个百分点。研究还使用了罕见类别平衡和类别模块训练来进一步提高性能。研究人员将其代码公开。

在这个领域的相关研究中，最近还有一些相关的研究，例如：Unsupervised Domain Adaptation for Semantic Segmentation via Class-Balanced Self-Training、Unsupervised Domain Adaptation for Semantic Segmentation via Orthogonal and Clustered Embeddings、Unsupervised Domain Adaptation for Semantic Segmentation via Multiscale Discriminative Domain Generalization等。