Finding Meaning in Points: Weakly Supervised Semantic Segmentation for Event Cameras

事件相机在捕捉高对比度场景和动态物体方面表现出色，相较于传统基于帧的相机具有显著优势。尽管已经积极研究了如何利用事件相机进行语义分割，但在这种具有挑战性的场景下生成像素级密集的语义地图仍然需要大量的人力。为了解决这个问题，我们提出了EV-WSSS：一种新颖的弱监督事件语义分割方法，利用了稀疏的点注释。为了充分利用事件数据的时间特性，所提出的框架在原始前向事件数据和更长的反向事件数据之间执行不对称的双学生学习，分别包含来自过去和未来的互补信息。此外，为了缓解稀疏监督带来的挑战，我们提出了基于类别原型的特征级对比学习，仔细聚合了空间区域和样本级别的原型。此外，我们通过在两个学习路径之间交换原型来进一步挖掘我们的双学生学习模型的潜力，从而利用它们的互补优势。通过对各种数据集进行广泛的实验，包括本文提供的具有稀疏点注释的DSEC Night-Point数据集，所提出的方法即使不依赖像素级密集的地面真值，也能实现实质性的分割结果。代码和数据集可在https://github.com/Chohoonhee/EV-WSSS上获得。

本论文旨在提出一种利用稀疏点注释进行事件驱动语义分割的弱监督方法，以解决高对比度场景和动态物体的语义分割问题。

该论文的关键思路是采用不对称的双学生学习方法，利用正向事件数据和更长的反向事件数据之间的互补信息，以及基于类别原型的特征级对比学习，以在不依赖像素级稠密地面实况的情况下，实现事件驱动语义分割。

该论文的实验结果表明，提出的方法在各种数据集上都取得了显著的分割结果，即使在没有像素级稠密地面实况的情况下也能实现良好的分割效果。此外，该论文还提供了一个新的带有稀疏点注释的数据集，并公开了代码和数据集。

在最近的相关研究中，也有一些关于事件驱动语义分割的工作，如“Event-based Semantic Segmentation via Dynamic Vision Sensors”和“Event-based Semantic Segmentation with Spatial-temporal Transformer Networks”。