Towards the Uncharted: Density-Descending Feature Perturbation for Semi-supervised Semantic Segmentation

半监督语义分割允许模型从未标记的数据中挖掘有效的监督来补充标记引导训练。最近的研究主要集中在一致性正则化技术上，探索了图像和特征级别的扰动不变训练。在这项工作中，我们提出了一个新颖的特征级一致性学习框架，名为密度下降特征扰动（DDFP）。受半监督学习中低密度分离假设的启发，我们的关键见解是特征密度可以为分割分类器探索最有前途的方向提供线索，即低密度区域。我们提出通过注入扰动将具有自信预测的特征转移到低密度区域。然后，扰动后的特征受到原始特征上的预测的监督，从而迫使分类器探索密度较低的区域以有效地规范决策边界。我们方法的核心是特征密度的估计。为此，我们引入了一种基于归一化流的轻量级密度估计器，可以以在线方式高效地捕获特征密度分布。通过从密度估计器中提取梯度，我们可以确定每个特征朝向低密度区域的方向。所提出的DDFP在特征级扰动方面优于其他设计，并在各种分区协议下在Pascal VOC和Cityscapes数据集上展现出最先进的性能。该项目可在https://github.com/Gavinwxy/DDFP上获取。

本论文旨在解决半监督语义分割中的有效监督问题，提出了一种新的特征级一致性学习框架。

论文提出了一种基于密度下降特征扰动（DDFP）的特征级一致性学习框架，通过注入扰动将具有自信预测的特征向低密度区域移动，从而迫使分类器探索低密度区域，有效规范决策边界。

论文提出的DDFP方法在特征级扰动方面优于其他设计，并在Pascal VOC和Cityscapes数据集上展现了最先进的性能。论文使用了基于归一化流的轻量级密度估计器，可以高效地在线捕获特征密度分布。该项目已在GitHub上开源。

最近的相关研究主要集中在一致性正则化技术上，探索了图像和特征级别的扰动不变训练。