论文地址：https://arxiv.org/pdf/2203.07615.pdf

开源代码：https://github.com/chunbolang/BAM

摘要

最近，少样本分割（FSS）得到了广泛的发展。以前的大多数工作都力求通过分类任务衍生的元学习框架来实现泛化；然而，经过训练的模型偏向于已见类，而未见类不理想，从而阻止了对新概念的识别。本文提出了一种新的直观的见解来缓解这个问题。具体来说，我们在传统的 FSS 模型（元学习器）上应用了一个额外的分支（基础学习器）来明确识别基础类的目标，即不需要分割的区域。然后，这两个学习器并行输出的粗略结果被自适应地集成以产生精确的分割预测。考虑到元学习器的敏感性，我们进一步引入了一个调整因子来估计输入图像对之间的场景差异，以方便模型集成预测。 PASCAL-5i 和 COCO-20i 的显着性能提升验证了有效性，令人惊讶的是，我们的多功能方案即使有两个普通的学习者也设置了新的最先进的技术。此外，鉴于所提出方法的独特性，我们还将其扩展到更现实但具有挑战性的设置，即广义 FSS，其中需要确定基类和新类的像素。

主要贡献

  • 我们提出了一个简单但有效的方案，通过引入一个附加的分支来明确预测查询图像中基类区域，从而为未来的工作提供帮助。
  • 我们提出通过Gram矩阵对查询支持图像对之间的场景差异，以减轻由元学习者的敏感性引起的不良反应。
  • 即使有两个普通的学习者，我们也在所有设置上都取得了FSS基准测试的新SOTA。
  • 我们将提出的方法扩展到更具挑战性的环境，即广义的FSS，同时识别基础和新颖类的目标。

实验

本方法的训练过程可以分为两个阶段，即预处理和元训练。在第一阶段，我们采用标准监督学习范式来训练FSS数据集的每个范围的基础学习者，该数据集由\( Pascal-5^i \)/\( COCO-20^i \)的16/61类（包括背景）组成。PSPNet[68]是我们工作中的基础学习者，并在\( Pascal-5^i \)上接受了100个时代的培训，而\( COCO-20^i \)则为20个时代。具有初始学习率的SGD优化器\( 2.5e-3 \)用于更新参数，训练批量的大小设置为12。对于第二阶段，我们以情节学习方式共同训练元学习者和集合模块，以及参数基础学习者的固定在此阶段。请注意，两个学习者共享相同的编码器来提取输入图像的功能，这也不是优化以促进概括的。其余的网络层在\( Pascal-5^i \)上对200个时期的SGD优化器进行了训练，并且可可20I训练50个时期。两个数据集上的批次大小和学习率分别设置为8和\( 5e-2 \)。我们遵循[51]中的数据增强技术进行培训。 PFENet[51]的一种变体是我们工作中的元学习者，其中FEM被ASPP[4]取代以降低复杂性。我们平均具有不同随机种子的5条路径的结果。提出的模型在Pytorch中实现，并在NVIDIA RTX 2080Ti GPUs上运行。

内容中包含的图片若涉及版权问题，请及时与我们联系删除