PillarNeXt: Improving the 3D detector by introducing Voxel2Pillar feature encoding and extracting multi-scale features

多线激光雷达被广泛应用于自动驾驶汽车中，因此基于点云的三维检测器对于自动驾驶至关重要。由于不同类型物体的大小存在显著差异，因此提取丰富的多尺度特征对于基于点云的三维检测器至关重要。然而，由于实时要求，大尺寸卷积核很少用于在主干网络中提取大尺度特征。当前的三维检测器通常使用特征金字塔网络来获取大尺度特征；然而，某些包含较少点云的物体在下采样过程中进一步丢失，导致性能下降。由于基于柱状体的方案比基于体素的方案需要更少的计算，因此它们更适合构建实时三维检测器。因此，我们提出了一种基于柱状体的方案PillarNeXt。我们重新设计了三维检测器的特征编码、主干网络和neck。我们提出了Voxel2Pillar特征编码，它使用稀疏卷积构造器构建柱状体，具有更丰富的点云特征，特别是高度特征。此外，添加了额外的可学习参数，使初始柱状体能够实现更高的性能能力。在所提出的完全稀疏主干网络中，我们提取多尺度和大尺度特征，该网络不使用大尺寸卷积核；主干网络由所提出的多尺度特征提取模块组成。neck由所提出的稀疏ConvNeXt组成，其简单的结构显著提高了性能。在Waymo Open Dataset上验证了所提出的PillarNeXt的有效性，并提高了车辆、行人和骑车人的物体检测准确性；我们还详细验证了每个提出的模块的有效性。

本论文旨在解决自动驾驶中点云三维检测器中提取多尺度特征的问题，以提高物体检测的准确性。

该论文提出了一种基于柱状体的方案PillarNeXt，使用Voxel2Pillar特征编码和全稀疏骨干网络提取多尺度和大尺度特征，同时使用稀疏ConvNeXt作为neck，以提高检测性能。

论文使用Waymo Open Dataset验证了PillarNeXt的有效性，并在车辆、行人和骑车人的检测精度方面取得了改进。此外，论文提出的每个模块的有效性也得到了验证。

最近在该领域中的相关研究包括PointPillars、SECOND和PV-RCNN等。