LSK3DNet: Towards Effective and Efficient 3D Perception with Large Sparse Kernels

自主系统需要使用有限的计算资源处理大规模、稀疏和不规则的点云。因此，开发既高效又有效的LiDAR感知方法至关重要。虽然简单地增大3D卷积核大小可以提高性能，但也会导致立方级的开销增加。因此，开发精简的3D大卷积核设计，消除冗余权重并有效地使用更大的卷积核非常重要。本文提出了一种高效而有效的大稀疏卷积核3D神经网络（LSK3DNet），利用动态剪枝来增强3D卷积核大小。我们的方法包括两个核心组件：空间动态稀疏（SDS）和通道权重选择（CWS）。SDS从一开始就动态剪枝和重生体积权重，以学习大稀疏3D卷积核。它不仅提高了性能，而且显着减少了模型大小和计算成本。此外，CWS在训练期间选择最重要的通道进行3D卷积，并随后剪枝冗余通道以加速3D视觉任务的推理。我们在三个基准数据集和五个跟踪上展示了LSK3DNet的有效性，与经典模型和大卷积核设计进行了比较。值得注意的是，与简单的大3D卷积核模型相比，LSK3DNet在SemanticKITTI上实现了最先进的性能（即单扫描75.6％，多扫描63.4％），模型大小减少了约40％，计算操作减少了约60％。

如何在计算资源受限的情况下，高效且有效地处理大规模、稀疏、不规则的点云数据？

提出了一种名为LSK3DNet的神经网络，利用动态剪枝来扩大3D卷积核的大小，并通过空间动态稀疏和通道权重选择两个核心组件来优化网络性能和减少计算资源消耗。

实验证明，LSK3DNet在三个基准数据集和五个跟踪任务中均取得了优异的表现，尤其是在SemanticKITTI数据集上，取得了最先进的性能，同时还将模型大小减小了约40％，计算操作减少了约60％。

与大内核设计和经典模型相比，LSK3DNet的动态剪枝方法实现了更高效的3D点云处理，与此同时，最近的相关研究还包括基于深度学习的点云分割、点云分类和目标检测等方面的研究。