Boosting 3D Object Detection with Semantic-Aware Multi-Branch Framework

在自动驾驶中，LiDAR传感器对于获取3D点云、提供可靠的几何信息至关重要。然而，传统的预处理采样方法通常忽略语义特征，导致在3D物体检测中出现细节丢失和地面点干扰的问题。为了解决这个问题，我们提出了一个多分支两阶段3D物体检测框架，使用了语义感知的多分支采样（SMS）模块和多视角一致性约束。SMS模块包括随机采样、密度均衡采样（DES）以增强远距离物体的检测，以及放弃地面采样（GAS）以聚焦于非地面点。采样的多视角点云通过一致的关键点选择（CKPS）模块进行处理，以生成一致的关键点掩模，以进行有效的提案采样。第一阶段检测器使用多分支并行学习，通过多视角一致性损失进行特征聚合，而第二阶段检测器则通过多视角融合池化（MVFP）模块融合多视角数据，以精确地预测3D物体。在KITTI 3D物体检测基准数据集上的实验结果表明，我们的方法在各种主干网络中取得了出色的检测性能改进，特别是对于具有简单网络结构的低性能主干网络。

解决问题：论文旨在通过提出一种多分支两阶段的3D物体检测框架，使用语义感知的多分支采样模块和多视角一致性约束，解决传统采样方法忽略语义特征的问题，以提高检测性能。

关键思路：论文提出了一种多分支两阶段的3D物体检测框架，使用语义感知的多分支采样模块和多视角一致性约束来提高物体检测性能。该框架包括随机采样、密度均衡采样和地面放弃采样等采样方式，采用一致的关键点选择模块生成关键点掩码，通过多视角一致性损失进行多分支并行学习，最后通过多视角融合池化模块精确预测3D物体。

其他亮点：论文在KITTI 3D物体检测基准数据集上进行了实验，证明了该方法在各种骨干网络中均取得了显著的检测性能提升，特别是对于简单网络结构的低性能骨干网络。此外，论文提出的方法还具有较强的泛化性能和实时性能，可以应用于自动驾驶等领域。

相关研究：最近的相关研究包括PointPillars、SECOND、PV-RCNN等。