TASeg: Temporal Aggregation Network for LiDAR Semantic Segmentation

训练LiDAR语义分割的深度模型具有挑战性，因为点云固有的稀疏性。利用时间数据是解决稀疏问题的一种自然方法，因为它使输入信号更加密集。然而，以前的多帧融合算法由于内存限制而无法充分利用足够的时间信息，并且它们也忽略了信息丰富的时间图像。为了充分利用长期时间点云和图像中隐藏的丰富信息，我们提出了Temporal Aggregation Network，简称TASeg。具体来说，我们提出了一种Temporal LiDAR Aggregation and Distillation（TLAD）算法，它利用历史先验为不同的类分配不同的聚合步骤。它可以大大减少内存和时间开销，同时实现更高的准确性。此外，TLAD训练一个注入gt先验的teacher来蒸馏模型，进一步提高了性能。为了充分利用时间图像，我们设计了一个Temporal Image Aggregation and Fusion（TIAF）模块，它可以大大扩展相机FOV并增强现有特征。相机FOV中的时间LiDAR点被用作媒介，将时间图像特征转换为当前坐标以进行时间多模态融合。此外，我们开发了一种Static-Moving Switch Augmentation（SMSA）算法，利用充足的时间信息使物体自由切换其运动状态，从而大大增加了静态和移动的训练样本。我们的TASeg在三个具有挑战性的轨道上排名第一，即SemanticKITTI单扫描轨道、多扫描轨道和nuScenes LiDAR分割轨道，充分证明了我们方法的优越性。代码可在https://github.com/LittlePey/TASeg获得。

本论文尝试解决LiDAR语义分割中点云稀疏性的问题，通过利用时间数据来增加输入信号的密度。同时，为了充分利用长期时间点云和图像中隐藏的丰富信息，提出了TASeg模型。

本论文的关键思路是通过TLAD算法和TIAF模块来利用历史先验信息和图像信息，实现对时间数据的充分利用。同时，通过SMSA算法来增加训练样本的数量。

本论文的实验结果表明，TASeg在三个具有挑战性的任务中表现出色，包括SemanticKITTI单次扫描任务、多次扫描任务和nuScenes LiDAR分割任务。此外，论文提供了开源代码。

与本论文相关的研究包括："PointRCNN: 3D Object Proposal Generation and Detection from Point Cloud"，"RangeNet++: Fast and Accurate LiDAR Semantic Segmentation"等。