Open Panoramic Segmentation

全景图像能够捕捉到360度的视野，包含了对场景理解至关重要的全向空间信息。然而，获取足够密集标注的全景图像不仅成本高昂，而且在训练模型时应用受限于近似词汇的场景。为了解决这个问题，本文提出了一项新任务，称为开放式全景分割（OPS），在开放词汇场景下，模型在源域中使用视野受限的针孔图像进行训练，而在目标域中使用视野开放的全景图像进行评估，从而实现了模型的零样本开放式全景语义分割能力。此外，我们提出了一种名为OOOPS的模型，采用了可变形适配器网络（DAN），可以显著提高零样本全景语义分割的性能。为了进一步增强源域针孔图像的畸变感知建模能力，我们提出了一种新的数据增强方法，称为随机全景投影（RERP），专门设计用于提前解决物体变形问题。在三个全景数据集WildPASS、Stanford2D3D和Matterport3D上，我们的OOOPS模型与RERP方法在OPS任务上取得了卓越的性能，超过了其他最先进的开放词汇语义分割方法，特别是在WildPASS户外数据集上提高了2.2％，在Stanford2D3D室内数据集上提高了2.4％的mIoU。我们的源代码公开在https://junweizheng93.github.io/publications/OPS/OPS.html。

本论文旨在解决在场景理解中获取足够密集注释全景图像的成本高昂，且应用受限的问题。因此，论文提出了一种名为Open Panoramic Segmentation（OPS）的新任务，旨在通过在源域中使用FoV受限的针孔图像进行训练，在目标域中使用FoV开放的全景图像进行评估，从而实现模型的零-shot开放式全景语义分割能力。

论文中提出了一种名为OOOPS的模型，其中包含一个可变形适配器网络（DAN），可显著提高零-shot全景语义分割性能。此外，论文还提出了一种新的数据增强方法，称为Random Equirectangular Projection（RERP），旨在提高针孔源域中的畸变感知建模能力。

论文在三个全景数据集上进行了实验，包括WildPASS、Stanford2D3D和Matterport3D。OOOPS模型与RERP数据增强方法在OPS任务上表现出色，尤其是在室外WildPASS上+2.2％和在室内Stanford2D3D上+2.4％ mIoU。此外，论文提供了公开的源代码。

在最近的研究中，还有一些相关的工作，如：'360-Degree Video Segmentation via Transferable Feature Fusion and Coarse-to-Fine Refinement'、'Panoptic-DeepLab: A Simple, Strong, and Fast Baseline for Bottom-Up Panoptic Segmentation'、'PanoAnnot: A Full-Scene Panoramic 3D Annotation System for Indoor Scenes'等。