MFP: Making Full Use of Probability Maps for Interactive Image Segmentation

在最近的交互式分割算法中，先前的概率图被用作网络输入，以帮助当前分割轮次的预测。然而，尽管利用了先前的掩模，但概率图中包含的有用信息并没有很好地传播到当前的预测中。在本文中，为了克服这个限制，我们提出了一种新颖有效的基于点击的交互式图像分割算法，称为MFP，试图充分利用概率图。我们首先调制先前的概率图，以增强它们对用户指定对象的表示。然后，我们将调制后的概率图作为附加输入馈送到分割网络中。我们基于ResNet-34、HRNet-18和ViT-B骨干实现了所提出的MFP算法，并在各种数据集上进行了广泛的性能评估。结果表明，MFP在使用相同骨干的现有算法中表现显著优于其他算法。源代码可在\href{https://github.com/cwlee00/MFP}{https://github.com/cwlee00/MFP}找到。

本文旨在解决交互式图像分割中，前一个概率图中包含的有用信息无法很好地传播到当前预测的问题。作者提出了一种名为MFP的算法，试图充分利用概率图来提高交互式图像分割的性能。

MFP算法通过调节前一个概率图来增强用户指定对象的表示，并将调节后的概率图作为额外输入馈入分割网络，从而提高交互式图像分割的性能。

该算法在ResNet-34、HRNet-18和ViT-B等不同的网络结构上进行了广泛的评估，并展示了MFP算法相对于现有算法的显著优势。作者还提供了开源代码。

在相关研究方面，最近的研究包括：Interactive Object Segmentation with Inside-Outside Guidance (CVPR 2021)、Interactive Image Segmentation with First Click Attention (CVPR 2021)等。