Competing for pixels: a self-play algorithm for weakly-supervised segmentation

这篇摘要讲述了弱监督分割方法（WSS）的挑战，因为这种方法仅依赖于指示物体存在的图像级标签，缺乏标签和感兴趣区域（ROIs）之间的明确对应关系。尽管如此，WSS方法因其比完全监督分割方法更低的注释成本而受到关注。作者提出了一种基于强化学习（RL）自我对抗的新型WSS方法，将分割视为两个代理之间的比赛，竞争选择包含ROI的补丁，直到所有这样的补丁用尽。每个时间步的分数用于计算代理训练的奖励，表示在所选区域内物体存在的可能性，由仅使用图像级二进制分类标签进行预训练的物体存在检测器确定。此外，作者提出了一个游戏终止条件，可以由任何一方在所有包含ROI的补丁用尽后调用，然后从每个补丁中选择一个最终补丁。在终止时，如果ROI包含补丁用尽，则代理受到激励，如果竞争者发现ROI包含补丁，则代理受到惩罚。这种竞争设置确保了过度或不足分割的最小化，这是WSS方法的常见问题。在四个数据集上进行了大量实验，证明了该方法相对于最新的现有方法的显着性能提高。该方法的代码可以在https://github.com/s-sd/spurl/tree/main/wss找到。

本文旨在解决弱监督分割方法中标签和感兴趣区域之间的对应关系不明确的问题，并提出一种新的基于强化学习自我对抗的分割方法。

本文提出了一种将分割问题视为两个代理之间的竞争游戏的方法，代理通过选择包含感兴趣区域的图像块来获得分数，直到所有这样的块都被用尽。每个时间步的分数由一个预先训练的物体存在检测器确定，该检测器仅使用图像级别的二元分类标签来确定物体存在的可能性。比赛结束的条件是当所有包含感兴趣区域的块都被用尽时，任何一方都可以调用游戏终止条件，并从每个代理中选择最终块。在终止时，如果代理用尽了包含感兴趣区域的块，则会获得激励，否则会受到惩罚。这种竞争性设置确保了过度或欠分割的最小化。

本文通过使用强化学习自我对抗的方法，提出了一种新的基于弱监督的分割方法，有效解决了标签和感兴趣区域之间的对应关系不明确的问题。实验结果表明，该方法在四个数据集上的性能显著优于最近的最先进方法。代码已开源。

最近的相关研究包括：1. Learning to Segment Every Thing (Li et al., 2018)；2. Weakly Supervised Instance Segmentation using Class Peak Response (Wang et al., 2020)；3. Self-training for Weakly Supervised Object Localization (Wang et al., 2019)等。