DynamicGlue: Epipolar and Time-Informed Data Association in Dynamic Environments using Graph Neural Networks

这篇文章讨论了在许多几何计算机视觉任务中，如SLAM，静态环境假设是常见的，但它限制了它们在高度动态场景中的适用性。由于这些任务依赖于在静态环境的输入图像之间识别点对应关系，因此我们提出了一种基于图神经网络的稀疏特征匹配网络，旨在在具有挑战性的条件下执行稳健的匹配，同时排除移动对象上的关键点。我们采用了类似于最先进的特征匹配网络的图边上的注意力聚合方案来增强关键点表示，但增加了外极线和时间信息，并大大减少了图边的数量。此外，我们引入了自监督训练方案，从仅未经处理的视觉惯性数据中提取动态环境中图像对的伪标签。一系列实验表明，与最先进的特征匹配网络相比，我们的网络在排除移动对象上的关键点方面表现出卓越的性能，同时仍然在传统匹配指标方面实现类似的结果。当集成到SLAM系统中时，我们的网络显著提高了性能，特别是在高度动态的场景中。

本文旨在解决几何计算机视觉任务中静态环境假设的限制，提出了一种基于图神经网络的稀疏特征匹配网络，旨在在具有挑战性的条件下进行鲁棒匹配，同时排除移动物体上的关键点。

本文的关键思路是将图与极线和时间信息相结合，通过注意力聚合来增强关键点表示，从而实现匹配。

本文的实验表明，与现有的特征匹配网络相比，该网络在排除移动物体上的关键点方面表现更好，并且在传统匹配指标方面仍然具有类似的结果。同时，作者引入了自监督训练方案，从仅未经处理的视觉惯性数据中提取动态环境下图像对的伪标签。该网络在SLAM系统中的应用能够显著提高性能，特别是在高度动态的场景中。

在这个领域中，最近的相关研究包括《SuperGlue: Learning Feature Matching with Graph Neural Networks》和《Deep Epipolar Flow for Estimating 3D Motion from Stereo Videos》。