Panoptic SegFormer：全景分割第一名！南大&港大&英伟达提出新算法，霸榜全景分割

在本文中，作者提出了一个用Transformer进行端到端的全景分割框架Panoptic SegFormer。该方法采用Deformable DETR结构，对things和stuff采用了统一的mask预测流程，使全景分割更加简洁有效。相比于其他全景分割框架，Panoptic SegFormer主要有以下三个设计的创新点：（1）统一表示things和stuff的query集 ；（2）利用things和stuff的位置信息来提高分割质量的位置解码器 ；（3）用于合并things和stuff的分割结果的Mask后处理策略 。使用ResNet-50主干网络，本文的方法在COCO test-dev split上实现了50.0% PQ，大大超过了以前的SOTA方法。使用更强的PVTv2-B5主干网络，Panoptic SegFormer在COCO test-dev split上实现了54.1% PQ 和54.4% PQ 的新记录。

论文链接：https://arxiv.org/abs/2109.03814