MC-PanDA: Mask Confidence for Panoptic Domain Adaptation

领域自适应全景分割有望解决自然场景理解中的长尾问题。之前的最先进技术通过跨任务一致性、系统级优化和启发式改进教师预测来解决这个问题。相比之下，我们提议利用掩码变换器估计其自身预测的不确定性。我们的方法通过利用全景教师预测的细粒度置信度来避免噪声扩大。特别地，我们用掩码宽度置信度调节损失，并防止在不确定教师或自信学生像素中进行反向传播。在标准基准测试上的实验评估显示了所提出的选择技术的显著贡献。我们在Synthia到Cityscapes上报告了47.4 PQ，相比最先进技术提高了6.2个百分点。源代码可在https://github.com/helen1c/MC-PanDA获得。

本论文旨在解决自然场景理解中的长尾问题，提出了一种基于mask transformer的领域自适应全景分割方法，并通过fine-grained的置信度来避免噪声放大。

论文的关键思路是利用mask transformer的自我预测不确定性估计，通过fine-grained的置信度来调节损失函数，并防止在置信度低的像素上进行反向传播。

论文在标准基准测试中进行了实验评估，取得了47.4 PQ的成绩，相比于现有技术提高了6.2个百分点。论文提供了开源代码 https://github.com/helen1c/MC-PanDA。

最近在这个领域中，还有一些相关研究，例如：《Panoptic Feature Pyramid Networks》、《Real-time Panoptic Segmentation from Dense Detections》等。