Rethinking Data Augmentation for Robust LiDAR Semantic Segmentation in Adverse Weather

现有的LiDAR语义分割方法在恶劣天气条件下的性能往往会下降。以前的研究通过模拟恶劣天气或在训练期间采用通用数据增强来解决这个问题。然而，这些方法缺乏对恶劣天气如何对LiDAR语义分割性能产生负面影响的详细分析和理解。出于这个问题的动机，我们确定了恶劣天气的关键因素，并进行了一个玩具实验，以确定性能下降的主要原因：(1)由于雾气或空气中的液滴引起的折射引起的几何扰动，以及 (2)由于能量吸收和遮挡引起的点下降。基于这些发现，我们提出了新的策略性数据增强技术。首先，我们引入了一种选择性抖动（SJ），在深度（或角度）的随机范围内抖动点，以模拟几何扰动。此外，我们开发了一种可学习的点下降（LPD），使用深度Q学习网络学习易受攻击的擦除模式，以近似恶劣天气条件下的点下降现象。在没有精确的天气模拟的情况下，这些技术通过将其暴露在我们的数据中心分析确定的易受攻击的条件下，增强了LiDAR语义分割模型的强度。实验结果证实了所提出的数据增强方法适用于增强对恶劣天气条件的鲁棒性。我们的方法在SemanticKITTI-to-SemanticSTF基准测试中达到了39.5 mIoU，超过了先前最先进的方法5.4个百分点，相对于以前的方法实现的基线改进翻了三倍。

本论文旨在解决LiDAR语义分割在恶劣天气条件下性能下降的问题，并提出新的数据增强技术以增强模型的鲁棒性。

该论文提出了两种数据增强技术：Selective Jittering (SJ)和Learnable Point Drop (LPD)，分别模拟了恶劣天气条件下的几何扰动和点的缺失。这些技术通过数据中心的分析来暴露模型在恶劣天气条件下的脆弱性。

论文的实验结果表明，所提出的数据增强方法有效提高了模型在恶劣天气条件下的性能。论文在SemanticKITTI-to-SemanticSTF基准测试中取得了39.5 mIoU的显著成绩，超过了先前的最新技术水平。

在相关研究方面，先前的研究方法主要是通过模拟恶劣天气或在训练期间进行通用数据增强来解决这个问题。