ProtoGMM: Multi-prototype Gaussian-Mixture-based Domain Adaptation Model for Semantic Segmentation

域自适应语义分割旨在通过利用在标记源域上训练的监督模型，使用未标记的目标域生成准确且密集的预测。流行的自训练方法涉及使用来自目标域的伪标签重新训练$p(class|pixel feature)$的密集判别分类器。虽然许多方法专注于缓解伪标签噪声的问题，但它们经常忽略源域和目标域中的$p(pixel feature|class)$的基础数据分布。为了解决这个问题，我们提出了多原型高斯混合（ProtoGMM）模型，它将GMM结合到对比损失中进行引导对比学习。文献中通常使用记忆库执行对比损失，这可能会导致由于未被代表的类而产生类偏差。此外，记忆库通常具有固定的容量，可能会限制模型捕捉目标/源域的多样表示的能力。另一种方法是使用全局类原型（即每个类别的平均特征）。然而，全局原型基于每个类的单峰分布假设，忽略了类内变化。为了解决这些挑战，我们提出了ProtoGMM模型。这种新颖的方法涉及通过利用源样本的特征空间上的GMM来估计潜在的多原型源分布。GMM模型的组件充当代表原型。为了实现增加类内语义相似性，减少类间相似性和源域与目标域之间的域对齐，我们在源分布和目标样本之间使用多原型对比学习。实验表明，我们的方法在UDA基准测试中是有效的。

本文旨在解决领域自适应语义分割中的伪标签噪声问题，并提出一种新的方法：ProtoGMM模型。

ProtoGMM模型利用GMM估计源分布的多原型，通过多原型对比学习实现源分布和目标样本之间的领域对齐，从而提高类内语义相似性和类间语义差异性。

该方法在多个领域自适应语义分割基准测试中都取得了良好的效果，相比于现有方法，ProtoGMM模型不需要使用记忆库，可以更好地处理类别不平衡和多模态分布。

相关研究包括但不限于：领域自适应语义分割中的伪标签噪声处理方法、基于对比学习的领域自适应方法、基于GMM的多原型聚类方法等。