论文标题：Reference Twice: A Simple and Unified Baseline for Few-Shot Instance Segmentation

论文链接：https://arxiv.org/abs/2301.01156

作者单位：浙江大学 & 腾讯优图 & 武汉大学 & 北京大学

Few Shot Instance Segmentation (FSIS) 需要模型通过有限的几个支持示例来检测和分割新类。 在这项工作中，我们探索了一个简单但统一的 FSIS 解决方案及其增量变体，并引入了一个名为 Reference Twice (RefT) 的新框架，以充分探索基于类似 Transformer 框架的支持/查询功能之间的关系。 我们的主要见解有两个方面：首先，借助支持掩码，我们可以更适当地生成动态类中心以重新加权查询功能。 其次，我们发现支持对象查询在基础训练后已经编码了关键因素。 这样，可以从特征级和实例级两个方面对查询特征进行两次增强。 特别是，我们首先设计了一个基于掩码的动态加权模块来增强支持功能，然后建议链接对象查询以通过交叉注意力进行更好的校准。 经过上述步骤后，新类可以在我们强大的基线上得到显着改进。 此外，我们的新框架只需稍作修改即可轻松扩展到增量式 FSIS。 当对 FSIS、gFSIS 和 iFSIS 设置的 COCO 数据集的基准测试结果时，我们的方法与不同镜头的现有方法相比具有竞争力的性能，例如，我们将 nAP 提高了明显的 +8.2↑/+9.4↑ 超过当前状态 用于 10/30 射击的最先进的 FSIS 方法。 我们进一步证明了我们的方法在 Few Shot Object Detection 上的优越性。

内容中包含的图片若涉及版权问题，请及时与我们联系删除