STARFlow: Spatial Temporal Feature Re-embedding with Attentive Learning for Real-world Scene Flow

场景流预测是理解动态场景的关键任务，因为它提供了基本的运动信息。然而，当代场景流方法面临三个主要挑战。首先，仅基于局部感受野的流估计缺乏点对的长依赖匹配。为了解决这个问题，我们提出了全局注意力流嵌入，以在特征空间和欧几里得空间中匹配所有点对，在本地细化之前提供全局初始化。其次，在变形后的非刚性物体中存在变形，这导致连续帧之间的时空关系发生变化。为了更精确地估计残差流，我们设计了一个时空特征重新嵌入模块，以获取变形后的序列特征。此外，以往的方法在合成数据和激光雷达扫描数据之间存在显著的域差异，导致泛化能力差。我们利用新颖的域自适应损失，有效地弥合了从合成到现实世界的运动推断差距。实验表明，我们的方法在各种数据集上实现了最先进的性能，尤其是在真实世界的激光雷达扫描数据集上表现出色。我们的代码可在https://github.com/O-VIGIA/StarFlow上获得。

本论文旨在解决场景流预测中存在的三个主要挑战，即缺乏长依赖匹配、非刚性物体变形后的残差流估计不精确以及合成数据与实际数据之间存在的领域差距。

论文提出了全局注意力流嵌入、时空特征重新嵌入和领域自适应损失等关键思路，以解决上述挑战。

论文的实验结果表明其方法在多个数据集上均取得了最先进的性能，尤其是在实际激光雷达数据集上表现出色。论文提供了代码开源。

近期相关研究包括《End-to-End Learning of Motion Representation for Video Understanding》、《DeepMVS: Learning Multi-view Stereopsis with Deep Learning》等。