Knowledge Transfer with Simulated Inter-Image Erasing for Weakly Supervised Semantic Segmentation

虽然对抗性擦除在弱监督语义分割中已经普及，以帮助激活完整的物体区域，但现有方法仍然面临停止擦除的难题，导致欠激活和过度扩展的困境。在本文中，我们提出了一种基于知识转移和模拟图像间擦除（KTSE）的方法，用于弱监督语义分割，以缓解上述问题。与现有的基于擦除的方法不同，我们提出了一种模拟图像间擦除的情景，通过引入额外的物体信息来削弱原始激活。然后，将物体知识从锚定图像传输到后续的较弱激活的定位图，以增强网络的定位能力。考虑到采用的双向对齐如果缺少适当的约束条件也会削弱锚定图像的激活，因此我们提出了自监督正则化模块，以维持判别区域的可靠激活，并提高具有多个物体类别的复杂图像的跨类物体边界识别能力。此外，我们采用了图像内部擦除，并提出了一个多粒度对齐模块，以温和地扩大物体激活，以促进物体知识的转移。对PASCAL VOC 2012和COCO数据集进行的广泛实验和消融研究表明了我们提出的方法的优越性。源代码和模型可在https://github.com/NUST-Machine-Intelligence-Laboratory/KTSE上获得。

本文旨在解决弱监督语义分割中的欠激活和过度扩张的问题，提出了一种基于知识转移和模拟图像间擦除的方法。

与现有的擦除方法不同，本文提出了一种模拟图像间擦除的方法，通过引入额外的目标信息来削弱原始激活，然后将目标知识从锚点图像转移到次级激活较弱的定位图中，以增强网络的定位能力。同时，本文还提出了自监督正则化模块来维护鉴别区域的可靠激活，并提高多类别目标边界识别的准确性。

本文的亮点包括：1. 提出了一种模拟图像间擦除的方法，通过引入额外的目标信息来削弱原始激活，以增强网络的定位能力；2. 提出了自监督正则化模块来维护鉴别区域的可靠激活，并提高多类别目标边界识别的准确性；3. 在PASCAL VOC 2012和COCO数据集上进行了广泛的实验和消融研究，证明了所提出方法的优越性。

在这个领域中，最近的相关研究包括：1. Adversarial Erasing for Weakly Supervised Object Detection, CVPR 2017；2. Learning to Segment Every Thing, CVPR 2018；3. Weakly Supervised Semantic Segmentation using Superpixel Pooling Network, CVPR 2018。