Density-guided Translator Boosts Synthetic-to-Real Unsupervised Domain Adaptive Segmentation of 3D Point Clouds

本文提出了一种密度引导的翻译器（DGT），将其集成到两阶段自我训练流程中，命名为DGT-ST，用于3D合成到实际场景的无监督域自适应分割，这对于注释新领域至关重要。自我训练是这项任务的一种竞争性方法，但其性能受不同传感器采样模式（即点密度变化）和不完整的训练策略的限制。首先，与现有作品同时进行数据生成和特征/输出对齐的不稳定对抗训练相比，我们采用不可学习的DGT在输入级别上弥合域差距。其次，为了为自我训练提供良好的初始化模型，我们在第一阶段提出了一种类别级别的对抗网络，利用原型防止负迁移。最后，通过利用上述设计，提出了一种具有源感知一致性损失的混合域自我训练方法，在第二阶段进一步缩小域差距。在两个合成到实际场景的分割任务（SynLiDAR $\rightarrow$ semanticKITTI和SynLiDAR $\rightarrow$ semanticPOSS）上的实验表明，DGT-ST优于现有方法，分别实现了9.4％和4.3％的mIoU改进。代码可在\url{https://github.com/yuan-zm/DGT-ST}上获得。

本论文旨在解决3D合成到真实场景下的无监督领域自适应分割问题，提出了一种基于密度引导的翻译器（DGT）和两阶段自训练方法DGT-ST。

该论文的关键思路是使用非可学习的DGT在输入层桥接不同领域的点云数据，并提出了分类级对抗网络和源感知一致性损失，以进一步缩小领域差距。

该论文的亮点包括：提出了一种基于密度引导的翻译器（DGT）和两阶段自训练方法DGT-ST，实验结果表明DGT-ST优于当前最先进的方法，代码已开源。

在这个领域的相关研究还包括：Unsupervised Domain Adaptation for Semantic Segmentation via Class-Balanced Self-Training，Self-Training with Adversarial Regularization for Multimodal Domain Adaptation，Unsupervised Domain Adaptation for Semantic Segmentation via Dual-Memory Model等。