Neuromorphic Vision-based Motion Segmentation with Graph Transformer Neural Network

移动物体分割对于解释具有挑战性的环境中的场景动态对于机器人导航系统至关重要。神经形态视觉传感器由于其异步性、高时间分辨率和降低的功耗而专为运动感知而设计。然而，它们的非传统输出需要新的感知范式来利用它们的空间稀疏和时间密集特性。在这项工作中，我们提出了一种新颖的基于图形转换神经网络（GTNN）的事件驱动运动分割算法。我们的算法通过一系列非线性变换将事件流处理为3D图形，以揭示事件之间的局部和全局时空相关性。基于这些相关性，我们可以在没有先验动态场景几何知识的情况下，将属于移动物体的事件从背景中分割出来。该算法是在公开可用的数据集，包括MOD、EV-IMO和EV-IMO2上进行训练的，使用所提出的训练方案，以便在大规模数据集上进行高效的训练。此外，我们引入了动态对象掩码感知事件标记（DOMEL）方法，用于为基于事件的运动分割数据集生成近似的地面真实标签。我们使用DOMEL为我们自己记录的事件数据集进行标记，用于运动分割（EMS-DOMEL），并将其公开发布以供进一步研究和基准测试。我们在几个未见过的公开数据集上进行了严格的实验，结果表明，GTNN在动态背景变化、运动模式和多个大小和速度不同的动态物体存在的情况下优于现有方法。GTNN实现了显著的性能提升，平均运动分割准确度（IoU%）和检测率（DR%）分别增加了9.4%和4.5%。

提出一种新的基于图变换神经网络的事件驱动运动分割算法，解决机器人导航系统中的移动物体分割问题。

将事件流处理为3D图形，并通过一系列非线性变换揭示事件之间的局部和全局时空相关性，从而将属于移动物体的事件从背景中分割出来。

使用动态物体掩码感知事件标注方法生成了自己的事件数据集EMS-DOMEL，并公开了该数据集以供研究和基准测试。在多个公开数据集上进行了严格的实验，结果表明GTNN在动态背景变化、运动模式和多个不同大小和速度的动态物体存在的情况下优于现有方法。

最近的相关研究包括：《Event-Based Moving Object Detection and Tracking》、《Event-Based Object Detection with a Sparse-Coding Inspired Focal Event Camera》等。