论文地址：https://arxiv.org/pdf/2111.12940.pdf

开源代码：https://github.com/BIT-DA/RIPU

摘要

自我训练极大地促进了域的自适应语义分割，它迭代地在未标记的目标数据上生成伪标签并重新训练网络。但是，现实的分割数据集高度不平衡，伪标签通常会偏向多数类，并且基本上是嘈杂的，从而导致了容易出错的和次优的模型。在本文中，我们提出了一种基于区域的简单主动学习方法，用于在域移位下进行语义分割，旨在自动查询要标记的图像区域的少量分区，同时最大程度地提高分割性能。我们的算法，区域杂质和预测不确定性（RIPU）引入了一种新的采集策略，该策略表征了图像区域的空间邻接以及预测信心。我们表明，基于区域的选择策略比基于图像或基于点的同行更有效地利用有限的预算。此外，我们在源图像上执行像素及其最近的邻居之间的局部预测一致性。除此之外，我们会产生负面的学习损失，以使功能更具歧视性。广泛的实验表明，我们的方法仅需要很少的注释即可几乎达到监督性能，并且实质上优于最先进的方法。

主要贡献

  • 我们基于有关语义分割的主动域适应性的先验方法的性能，并发现使用基于图像或基于点的选择策略的方法无效。
  • 我们提出了一种基于区域的采集策略，用于域自适应语义细分，称为RIPU，这利用区域杂质和预测不确定性来识别空间邻接既多样化又不确定的预测输出的图像区域。
  • 我们通过实验表明，通过标准分割模型，即DeepLab-V2和DeepLab-V3+，我们的方法带来了两个代表性的域适应基准，即GTAV→CityScapes，SYNTHIA→CityScapes。

实验

GTAV→CityScapes和Synthia→CityScapes的结果分别显示在表1和表2中。可以看出，我们的方法显着优于先前领先的自我训练方法。即使我们每个目标图像只使用40个像素，我们的（PA）也对先前的破坏记录方法（即Proda）显示出实质性的改进，这意味着主动学习是针对域适应的有前途和互补的解决方案。

内容中包含的图片若涉及版权问题，请及时与我们联系删除