Active Label Correction for Semantic Segmentation with Foundation Models

训练和验证语义分割模型需要像素级注释的数据集，这是非常费时费力的。虽然有一些有用的先验知识，例如基础模型或众包数据集，但它们容易出错。因此，我们提出了一种有效的主动标签校正（ALC）框架，基于一种校正查询设计来纠正像素的伪标签，这比直接询问如何对像素进行分类的标准方法更加友好，根据我们的理论分析和用户研究。具体而言，我们的方法利用提供有用的伪标签和超像素的零样本预测的基础模型，包括两个关键技术：（i）一种与注释者友好的校正查询设计，以及（ii）基于超像素的前瞻性标签扩展获取函数。在PASCAL、Cityscapes和Kvasir-SEG数据集上的实验结果表明，我们的ALC框架的有效性，优于主动语义分割和标签校正的先前方法。值得注意的是，利用我们的方法，我们在PASCAL数据集中纠正了260万个像素的错误，获得了一个修订后的数据集。

本文旨在解决语义分割中标注数据的错误问题，提出了一种基于主动标注纠错（ALC）的框架，通过设计纠错查询来纠正像素的伪标签，从而比标准方法更加友好。

该框架包括两个关键技术：使用基础模型提供的零样本预测来纠正伪标签和超像素上的标签扩展，以及基于超像素的先行标签扩展的获取函数。

实验结果表明，该框架在PASCAL、Cityscapes和Kvasir-SEG数据集上的表现优于先前的主动语义分割和标签纠正方法。使用该方法，作者在PASCAL数据集中纠正了260万像素的错误，并在GitHub上开源了代码。

最近的相关研究包括：1）使用生成对抗网络进行主动语义分割；2）使用深度学习进行标签纠正；3）使用弱监督学习进行语义分割。相关论文包括“Adversarial Active Learning for Semantic Segmentation”、“Deep Active Learning for Label Correction”和“Learning from Weak and Noisy Labels for Semantic Segmentation”。