Eliminating Feature Ambiguity for Few-Shot Segmentation

最近的一些Few-shot Segmentation（FSS）的进展已经利用了查询和支持特征之间的像素匹配，通常基于交叉注意力，这种交叉注意力可以选择性地激活与支持FG特征相对应的查询FG特征。然而，由于骨干网络深层的大感受野，提取的查询和支持FG特征不可避免地与背景（BG）特征混合在一起，阻碍了交叉注意力中的FG-FG匹配。因此，查询FG特征与较少的支持FG特征融合，即支持信息没有得到很好的利用。本文提出了一种新的插件，称为消除模糊网络（AENet），它可以插入到任何现有的基于交叉注意力的FSS方法中。主要思想是挖掘具有区分性的查询FG区域来矫正模糊的FG特征，增加FG信息的比例，以抑制BG特征的负面影响。通过这种方式，FG-FG匹配自然得到增强。我们将AENet插入了三个基线CyCTR、SCCAN和HDMNet进行评估，它们的得分都有大幅提高，例如SCCAN的1-shot表现在PASCAL-5i和COCO-20i上都可以提高3.0%+。代码可在https://github.com/Sam1224/AENet上获得。

本文旨在解决few-shot segmentation（FSS）中的前景-前景匹配问题，即由于深层次神经网络中的大感受野，查询和支持前景特征不可避免地与背景特征混合，导致前景-前景匹配不准确的问题。

本文提出了一种新的插件AENet，可以嵌入到任何基于交叉注意力的FSS方法中，通过挖掘区分性的查询前景区域来矫正模糊的前景特征，增加前景信息的比例，从而提高前景-前景匹配的准确性。

本文将AENet插入了三个基线模型进行评估，结果表明，在PASCAL-5i和COCO-20i数据集上，SCCAN的1-shot性能可以提高3.0%以上。此外，本文提供了开源代码。

最近的相关研究包括：Meta-SSM、FSS-1000和FSS-20等。