PillarNeXt: Improving the 3D detector by introducing Voxel2Pillar feature encoding and extracting multi-scale features

多线激光雷达被广泛应用于自动驾驶汽车中，因此基于点云的三维检测器对于自动驾驶至关重要。在自动驾驶中，由于不同类型的物体大小存在显著差异，因此提取丰富的多尺度特征对于基于点云的三维检测器至关重要。然而，由于实时性的要求，大尺寸卷积核很少用于提取大尺度特征。当前的三维检测器通常使用特征金字塔网络来获取大尺度特征；然而，一些包含较少点云的物体在下采样过程中进一步丢失，导致性能下降。由于基于柱状体的方案所需计算量比基于体素的方案少得多，因此更适合构建实时三维检测器。因此，我们提出了一种基于柱状体的方案——PillarNeXt。我们重新设计了三维检测器的特征编码、骨干网络和颈部。我们提出了Voxel2Pillar特征编码，使用稀疏卷积构造器构建柱状体，具有更丰富的点云特征，特别是高度特征。Voxel2Pillar在特征编码中添加了更多可学习参数，使初始柱状体具有更高的性能能力。我们在提出的完全稀疏骨干网络中提取多尺度和大尺度特征，该骨干网络不使用大尺寸卷积核；骨干网络由提出的多尺度特征提取模块组成。颈部由提出的稀疏ConvNeXt组成，其简单的结构显著提高了性能。我们在Waymo开放数据集上验证了所提出的PillarNeXt的有效性，并提高了对车辆、行人和骑车人的物体检测准确性。我们还通过消融研究详细验证了每个提出的模块的有效性。

本文旨在解决自动驾驶中点云3D检测器中提取多尺度特征的问题，同时保证实时性和低计算量。

本文提出了一种基于pillar的方案，即PillarNeXt，通过重新设计特征编码、骨干网络和neck来实现。其中，Voxel2Pillar特征编码使用稀疏卷积构造器构建具有更丰富点云特征的pillar，骨干网络采用完全稀疏的多尺度特征提取模块来提取多尺度和大尺度特征，neck采用了简单结构的sparse ConvNeXt来进一步提高性能。

本文在Waymo Open Dataset上验证了PillarNeXt的有效性，对车辆、行人和骑车人的目标检测精度得到了提高。本文的亮点在于提出了基于pillar的方案，以及采用了Voxel2Pillar特征编码、完全稀疏的多尺度特征提取模块和sparse ConvNeXt等模块来提高性能。实验设计详细，并且提供了开源代码。值得进一步研究的是各个模块的有效性验证。

在该领域中，最近的相关研究包括PointPillars、SECOND、PV-RCNN等。