Point-SAM: Promptable 3D Segmentation Model for Point Clouds

我们提出了一个名为Point-SAM的三维分割模型，专注于点云，旨在解决非统一数据格式、轻量级模型以及缺乏具有多样掩模的标记数据等问题，从而在三维模型中实现类似于Segment Anything Model（SAM）在二维基础模型上取得的显著进展。我们的方法使用基于Transformer的方法，将SAM扩展到三维领域。我们利用部分级别和对象级别注释，并引入数据引擎从SAM生成伪标签，从而将二维知识蒸馏到我们的三维模型中。我们的模型在多个室内和室外基准测试中优于最先进的模型，并展示了各种应用，如三维注释。可以在https://github.com/zyc00/Point-SAM找到代码和演示。

本文旨在解决在3D模型中进行语义分割时遇到的问题，包括数据格式不统一、轻量模型、缺乏多样化掩模标签等。

本文提出了一种基于点云的3D可提示分割模型(Point-SAM)。该模型利用变压器方法，在3D领域中扩展了SAM。作者利用部分级别和对象级别注释，并引入数据引擎从SAM生成伪标签，从而将2D知识蒸馏到3D模型中。

本文的亮点包括：1. 提出了一种基于点云的3D可提示分割模型(Point-SAM)；2. 在室内和室外基准测试中，该模型优于现有的最先进模型；3. 该模型可用于3D注释等多种应用；4. 作者提供了开源代码和演示。

在这个领域中，还有一些相关的研究，例如：1. PointNet++：Deep Hierarchical Feature Learning on Point Sets in a Metric Space；2. 3D-BoNet: A 3D Backbone Network for Point Cloud Analysis；3. PointConv: Deep Convolutional Networks on 3D Point Clouds。