Better Call SAL: Towards Learning to Segment Anything in Lidar

我们提出了$\texttt{SAL}$（$\texttt{S}$egment $\texttt{A}$nything in $\texttt{L}$idar）方法，包括一个可通过文本提示的零样本模型，用于分割和分类激光雷达中的任何对象，以及一个伪标签引擎，可在无需手动监督的情况下促进模型训练。虽然已有的$\textit{Lidar Panoptic Segmentation}$（LPS）范例依赖于事先定义的少数物体类别的手动监督，但我们利用2D视觉基础模型生成3D监督“免费”。我们的伪标签包括实例掩模和相应的CLIP标记，我们使用校准的多模态数据将其提升到Lidar。通过在这些标签上训练我们的模型，我们将2D基础模型提炼成我们的Lidar $\texttt{SAL}$模型。即使没有手动标签，我们的模型在无类别分割方面达到了$91\%$，在零样本LPS方面达到了$44\%$，超过了完全监督的最新技术的多个基线。此外，我们的模型胜过了几个基线，这些基线仅将图像特征提升到3D而没有提炼。更重要的是，我们证明了$\texttt{SAL}$支持任意类别提示，可以轻松扩展到新的数据集，并显示出随着自标记数据的增加而提高的显着潜力。

论文旨在提出一种新的方法，即SAL（Lidar中的任意分割）方法，以利用2D视觉基础模型生成3D监督，从而实现在Lidar中对任意对象进行分割和分类，而无需手动监督。

该论文的关键思路是使用2D视觉基础模型生成3D监督，并使用伪标签引擎进行模型训练，以实现在Lidar中对任意对象进行分割和分类，而无需手动监督。

论文通过使用伪标签引擎进行模型训练，实现了在Lidar中对任意对象进行分割和分类，而无需手动监督。该方法还支持任意类提示，并且易于扩展到新数据集。实验结果表明，该方法在不需要手动监督的情况下，实现了91％的类别不可知分割和44％的零样本LPS。与其他基线方法相比，该方法表现出更好的性能。

在最近的相关研究中，一些论文探讨了基于Lidar的分割和分类问题，例如“PointPillars: Fast Encoders for Object Detection from Point Clouds”和“RangeNet++: Fast and Accurate LiDAR Semantic Segmentation”。