Panoptic-FlashOcc: An Efficient Baseline to Marry Semantic Occupancy with Panoptic via Instance Center

Panoptic occupancy是一个新颖的挑战，旨在将实例占用和语义占用集成到一个统一的框架中。然而，目前还缺乏高效的解决方案。本文提出了Panoptic-FlashOcc，这是一个简单而强大的2D特征框架，可以实现实时的Panoptic occupancy。基于FlashOcc的轻量级设计，我们的方法同时学习语义占用和类感知实例聚类，并在Panoptic occupancy处理中将这些输出联合起来。这种方法有效地解决了与三维体素级表示相关的高内存和计算要求的缺点。Panoptic-FlashOcc的设计简单高效，易于部署，并在Panoptic occupancy预测方面取得了显著的成就。在Occ3D-nuScenes基准测试中，它实现了优异的性能，语义占用的RayIoU和mIoU分别为38.5和29.1，操作速度为43.9 FPS。此外，它在Panoptic occupancy方面获得了显著的16.0 RayPQ得分，伴随着快速的推理速度30.2 FPS。这些结果在速度和准确性方面均超过了现有方法的表现。源代码和训练模型可以在以下github存储库中找到：https://github.com/Yzichen/FlashOCC。

本论文旨在解决Panoptic occupancy的问题，即如何将instance occupancy和semantic occupancy在一个统一的框架中进行有效整合，目前在这方面还缺乏高效的解决方案。

本文提出了一种简单而强大的2D特征框架Panoptic-FlashOcc，可以实现实时的Panoptic occupancy。该方法在FlashOcc的轻量级设计基础上，通过单个网络同时学习semantic occupancy和class-aware instance clustering，并通过panoptic occupancy procession将这些输出联合起来进行Panoptic occupancy。相比于三维体素级表示，这种方法有效地解决了高内存和计算需求的问题。

本文的亮点在于Panoptic-FlashOcc在Occ3D-nuScenes基准测试中取得了出色的表现，对于semantic occupancy的RayIoU和mIoU分别达到38.5和29.1，运行速度快达43.9 FPS；对于panoptic occupancy的RayPQ得分为16.0，推理速度为30.2 FPS。这些结果在速度和准确性方面均超过了现有方法。此外，本文的源代码和训练模型可在Github上找到。

在这个领域中，最近的相关研究包括：'Panoptic Segmentation'、'Panoptic Feature Pyramid Networks'、'Panoptic-DeepLab'等。