Hunting Attributes: Context Prototype-Aware Learning for Weakly Supervised Semantic Segmentation

最近的弱监督语义分割（WSSS）方法努力将上下文知识纳入其中，以改善类激活图（CAM）的完整性。在这项工作中，我们认为实例和上下文之间的知识偏差影响了原型理解实例语义的能力。受原型学习理论的启发，我们提出利用原型意识来捕获实例的多样化和细粒度特征属性。假设上下文原型可能由于这种知识偏差而错误地激活相似且频繁共现的对象类别。因此，我们提出通过减轻偏差来增强原型表示能力，以更好地捕获语义对象区域的空间覆盖率。为此，我们提出了一种上下文原型感知学习（CPAL）策略，利用语义上下文来丰富实例理解。该方法的核心是通过上下文感知的原型准确捕获对象特征中的类内变化，促进适应各种实例的语义属性。我们设计了特征分布对齐来优化原型意识，将实例特征分布与密集特征对齐。此外，我们提出了一个统一的训练框架，将标签引导的分类监督和原型引导的自我监督相结合。在PASCAL VOC 2012和MS COCO 2014上的实验结果表明，CPAL显著提高了现成的方法，并实现了最先进的性能。该项目可在https://github.com/Barrett-python/CPAL上获得。

本文旨在解决弱监督语义分割中实例和上下文之间的知识偏差对原型理解能力的影响，提出了一种上下文原型感知学习策略（CPAL）。

CPAL通过使用上下文原型来捕获实例的多样性和细粒度特征属性，以更好地理解实例的语义。该方法通过特征分布对齐来优化原型感知度，进而提高语义对象区域的空间覆盖能力。

该方法在PASCAL VOC 2012和MS COCO 2014数据集上进行了实验，结果表明，CPAL显著提高了现有方法的性能，并取得了最先进的表现。该项目代码已经开源。

最近在这个领域中，还有一些相关的研究，如：Weakly Supervised Semantic Segmentation with a Generative Model、Self-Supervised Learning for Weakly Supervised Object Localization、Context Encoding for Semantic Segmentation等。