Success or Failure? Analyzing Segmentation Refinement with Few-Shot Segmentation

分割细化的目的是增强由分割算法生成的初始粗略掩模。期望细化后的掩模能够捕捉目标对象的细节和轮廓。分割细化的研究是为了响应对高质量初始掩模的需求而发展起来的。然而，据我们所知，尚未开发出一种能够确定分割细化成功的方法。这样的方法可以确保在分割结果重要的应用中分割的可靠性，并促进图像处理技术的创新。为了填补这一研究空白，我们提出了JFS（Judging From Support-set）方法，利用少样本分割（FSS）模型来识别分割细化的成功。FSS问题的传统目标是利用支持集提供的目标信息在查询图像中找到目标对象。然而，在我们提出的方法中，我们以一种新颖的方式使用FSS网络来评估分割细化。当存在两个掩模时，一个是分割的粗略掩模，另一个是经过分割细化的掩模，这两个掩模成为支持掩模。现有的支持掩模作为基本真值掩模，用来判断精细分割的质量是否比粗略掩模更准确。我们首先获取一个粗略掩模，并使用SEPL（SAM增强伪标签）进行细化，得到两个掩模。然后，这些掩模成为FSS模型的输入，用来判断后处理是否成功。我们评估了JFS在SEPL的最佳和最差情况下的效果，结果表明JFS可以确定SEPL是否成功。

如何评估分割细化的成功率？

提出了一种使用少样本分割模型来判断分割细化的成功率的方法，即JFS（Judging From Support-set）。将分割细化得到的粗糙掩模和细化掩模作为输入，使用FSS模型判断后处理是否成功。

论文使用SEPL方法得到了分割细化的粗糙掩模和细化掩模，并将其作为输入，使用FSS模型判断后处理是否成功。实验结果表明JFS方法可以判断分割细化的成功率。

最近的相关研究包括分割细化算法的改进、使用深度学习进行图像分割等。