Tendency-driven Mutual Exclusivity for Weakly Supervised Incremental Semantic Segmentation

Weakly Incremental Learning for Semantic Segmentation (WILSS) 利用预先训练好的分割模型，使用成本效益高且易于获取的图像级标签来分割新类别。解决 WILSS 的一种普遍方法是为每个新类别生成种子区域，作为像素级监督的一种形式。然而，通常会出现这样的情况，即预先训练的分割模型同时将一个像素预测为旧类别和新类别。这种情况在 WILSS 中尤为棘手，因为缺乏新类别的像素级注释，无法确定像素是否属于新类别。为了克服这个问题，我们提出了一种创新的、趋势驱动的互斥关系，精心设计以控制种子区域的行为和预先训练的分割模型生成的预测。这种关系规定，新旧类别的预测不能冲突，同时优先保留旧类别的预测，这不仅解决了冲突预测的问题，还有效缓解了增量学习的固有挑战——灾难性遗忘。此外，在这种趋势驱动的互斥关系的支持下，我们为新类别生成伪掩模，允许通过解决双层优化问题来与模型参数更新并行执行。广泛的实验证实了我们框架的有效性，建立了新的基准，并为该领域的进一步研究铺平了道路。

本文尝试解决弱增量学习中新类别和旧类别之间的冲突问题，同时减轻灾难性遗忘的影响。

本文提出了一种新的互斥关系，以管理种子区域和预训练模型的预测行为，同时生成新类别的伪掩码，使其与模型参数更新并行执行。

本文提出的方法在弱增量学习中表现出色，建立了新的基准，并为进一步研究奠定了基础。

最近的相关研究包括：Incremental Learning for Semantic Segmentation，Learning to Learn without Forgetting，Continual Learning for Semantic Segmentation等。