Out of the Room: Generalizing Event-Based Dynamic Motion Segmentation for Complex Scenes

本文提出了一种基于事件相机的方法，用于实现无类别运动分割，可成功应用于复杂的大规模室外环境。为此，我们引入了一种新的分治管道，将以下内容组合起来：（a）通过场景理解模块计算出的自我运动补偿事件，该模块预测单目深度和相机姿态作为辅助任务，以及（b）专用光流模块的光流。然后，将这些中间表示馈送到分割模块，以预测运动分割掩模。分割模块中的一种新型基于Transformer的时间注意力模块可在相邻“帧”之间建立关联，以获得时间上一致的分割掩模。我们的方法在经典的EV-IMO基准测试（室内）上创造了新的最高水平，在那里我们分别实现了2.19个移动物体IoU（2.22 mIoU）和4.52个点IoU的提高，并在基于DSEC事件数据集的新生成的运动分割和跟踪基准测试（室外）上展示了12.91个移动物体IoU的提高。

解决问题：论文旨在解决移动传感器中动态场景部分的快速可靠识别问题，即运动分割问题。现有的基于RGB相机的方法依赖于模拟相机和场景属性，但往往受到限制并且无法处理未知类别。事件相机有潜力克服这些限制，但相应的方法仅在较小规模的室内环境中演示，且仅适用于简化的动态对象。

关键思路：论文提出了一种基于事件相机的运动分割方法，可以成功应用于复杂的大规模室外环境。为此，论文引入了一种新的分治流程，结合了（a）通过场景理解模块计算的自我运动补偿事件，该模块预测单目深度和相机姿态作为辅助任务，以及（b）专用光流模块的光流。然后将这些中间表示馈送到分割模块中，该模块预测运动分割掩模。分割模块中的新型基于变压器的时间注意模块在相邻“帧”之间建立相关性，以获得时间上一致的分割掩模。

亮点：论文在室内经典EV-IMO基准测试中取得了新的最佳成绩，其中运动对象IoU（2.22 mIoU）和点IoU分别提高了2.19和4.52。此外，论文还在基于DSEC事件数据集的新生成的运动分割和跟踪基准测试（室外）上展示了12.91移动对象IoU的提高。实验使用了EV-IMO和DSEC-MOTS数据集，并开源了代码。

相关研究：最近在这个领域中，还有一些相关研究，例如“Event-Based Motion Segmentation Using Motion-Adaptive Graph Regularization”和“Event-based Segmentation using Spatio-Temporal Surface Normal Estimation”。