StreamMOS: Streaming Moving Object Segmentation with Multi-View Perception and Dual-Span Memory

基于激光雷达的移动物体分割是自动驾驶和移动机器人领域中至关重要且具有挑战性的任务。大多数方法通过探索激光雷达序列中的时空信息来预测当前帧中的移动物体。然而，它们通常集中在单次推断中传递时间线索，并将每个预测视为独立的。这可能会导致同一物体在不同帧中的分割结果不一致。为了解决这个问题，我们提出了一种具有记忆机制的流式网络，称为StreamMOS，以建立多个推断之间的特征和预测的关联。具体而言，我们利用短期记忆来传达历史特征，这可以被视为移动物体的空间先验，并被采用来通过时间融合增强当前推断。同时，我们建立了长期记忆来存储先前的预测，并利用它们通过投票来在体素和实例级别上细化当前的预测。此外，我们提出了多视角编码器，采用级联投影和不对称卷积来提取不同表示中物体的运动特征。广泛的实验证明，我们的算法在SemanticKITTI和Sipailou校园数据集上获得了竞争性能。代码将在https://github.com/NEU-REAL/StreamMOS.git发布。

解决问题：论文旨在解决自动驾驶和移动机器人中基于LiDAR的运动物体分割问题，通过建立特征和预测之间的关联来提高分割结果的一致性。

关键思路：论文提出了一种具有记忆机制的流式网络StreamMOS，通过短期记忆和长期记忆分别传递历史特征和先前预测，并利用多视角编码器提取不同表征下物体的运动特征，进而实现运动物体分割。

其他亮点：论文在SemanticKITTI和Sipailou Campus数据集上进行了广泛实验，证明了算法的竞争性能，并将代码开源。值得深入研究的工作包括如何进一步优化记忆机制和多视角编码器的性能。

相关研究：最近的相关研究包括《End-to-end Learning for LiDAR-based 3D Object Detection》、《Joint 3D Proposal Generation and Object Detection from View Aggregation》等。