HPL-ESS: Hybrid Pseudo-Labeling for Unsupervised Event-based Semantic Segmentation

基于事件的语义分割因其能够处理高速运动和极端照明条件下的场景而变得流行，而这些场景无法通过传统的RGB相机解决。由于很难注释事件数据，先前的方法依赖于事件到图像的重建来获取训练的伪标签。然而，这将不可避免地引入噪声，并且从噪声伪标签中学习，特别是当从单一来源生成时，可能会加强错误。这个缺点也被称为伪标签中的确认偏差。在本文中，我们提出了一种新的混合伪标签框架，用于无监督的基于事件的语义分割，即HPL-ESS，以减轻噪声伪标签的影响。特别地，我们首先采用纯无监督域自适应框架作为基线，通过自我训练生成一组伪标签。然后，我们将离线事件到图像重建纳入框架，并通过预测重建图像上的分割地图获得另一组伪标签。设计了一种嘈杂标签学习策略，将两组伪标签混合并增强质量。此外，我们提出了一个软原型对齐模块，以进一步提高目标域特征的一致性。广泛的实验表明，我们提出的方法在DSEC-Semantic数据集上比现有最先进的方法表现出更大的优势（+5.88％的准确度，+10.32％的mIoU），甚至超过了几种监督方法。

本文旨在解决事件驱动语义分割中伪标签噪声问题，提出了一种新的混合伪标签框架。

本文提出了一种新的混合伪标签框架HPL-ESS，通过将离线事件到图像重建与自训练相结合，设计了噪声标签学习策略来提高伪标签的质量，并使用软原型对齐模块进一步提高目标域特征的一致性。

本文在DSEC-Semantic数据集上进行了广泛实验，结果表明HPL-ESS方法的性能优于现有的基于事件的语义分割方法，并且甚至超过了一些监督方法。

在这个领域中，与本文相关的研究包括：《Event-based Semantic Segmentation via Edge-aware Convolutional Neural Networks》、《Event-based Segmentation using Spatial and Temporal Clustering》等。