LiSD: An Efficient Multi-Task Learning Framework for LiDAR Segmentation and Detection

随着自动驾驶技术的快速普及，人们越来越关注基于激光雷达的三维语义分割和物体检测方法的研究，旨在确保交通参与者的安全。近几十年来，基于学习的方法已经出现，与传统算法相比，表现出了显著的性能提升。然而，分割和检测任务传统上被单独考虑以实现最佳精度。为此，我们提出了一种高效的多任务学习框架，名为LiSD，可以同时处理分割和检测任务，旨在优化整体性能。我们提出的LiSD是一个基于体素的编码器-解码器框架，包含一个分层特征协作模块和一个整体信息聚合模块。采用不同的集成方法来保持分割中的稀疏性，同时在检测中密集化特征以进行查询初始化。此外，交叉任务信息在实例感知的细化模块中被利用以获得更准确的预测。在nuScenes数据集和Waymo开放数据集上的实验结果证明了我们提出的模型的有效性。值得注意的是，LiSD在仅使用激光雷达的方法中在nuScenes分割基准测试中实现了83.3％的mIoU，达到了最先进的水平。

本文旨在解决自动驾驶中的激光雷达三维语义分割和物体检测问题，并提出了一个名为LiSD的多任务学习框架。

LiSD是一个基于体素的编码器-解码器框架，包含分层特征协作模块和整体信息聚合模块，并采用不同的集成方法来保持分割中的稀疏性和在检测中初始化查询的特征密集化。此外，跨任务信息在实例感知细化模块中得到利用，以获得更准确的预测。

实验结果表明，LiSD在nuScenes数据集和Waymo开放数据集上均取得了良好的性能表现，并在nuScenes分割基准测试中实现了83.3％的mIoU，成为目前激光雷达方法中的最优解。论文提出的多任务学习框架可以同时解决分割和检测任务，优化了整体性能。

最近的相关研究包括：1. PointRCNN: 3D Object Proposal Generation and Detection from Point Cloud. 2. SqueezeSegV3: Spatially-Adaptive Convolution for Efficient Pointcloud Segmentation. 3. PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection.