Efficient LoFTR: Semi-Dense Local Feature Matching with Sparse-Like Speed

我们提出了一种新的方法来高效地生成图像之间的半密集匹配。之前的无检测器匹配器LoFTR在处理大视角变化和贫纹理场景方面表现出了出色的匹配能力，但效率较低。我们重新审视了它的设计选择，并为提高效率和准确性提出了多种改进。一个关键观察是，由于共享局部信息，对整个特征图执行变换器是多余的，因此我们提出了一种聚合的注意机制，采用自适应标记选择以提高效率。此外，我们发现LoFTR的精细相关模块存在空间变化，这对匹配精度不利。提出了一种新的两阶段相关层，以实现准确的亚像素对应关系，以提高准确性。我们优化效率的模型比LoFTR快约2.5倍，甚至可以超越最先进的高效稀疏匹配流水线SuperPoint+LightGlue。此外，广泛的实验表明，与竞争性半密集匹配器相比，我们的方法可以实现更高的准确性，并具有相当的效率优势。这为图像检索和三维重建等大规模或延迟敏感的应用打开了令人兴奋的前景。项目页面：https://zju3dv.github.io/efficientloftr。

论文旨在提出一种高效的半稠密匹配方法，解决之前的方法在处理大视角变化和纹理贫乏场景时效率低下的问题。

论文提出了聚合注意力机制和自适应令牌选择的方法，以提高LoFTR的效率。同时，还提出了两阶段相关层以实现更精确的子像素对应关系。

论文的方法比之前的方法更加高效，效率比LoFTR快2.5倍，甚至超过了最先进的高效稀疏匹配管道SuperPoint + LightGlue。此外，实验表明，该方法可以实现比竞争半稠密匹配器更高的精度，具有相当的效率优势。

最近在这个领域中，还有一些相关的研究，如SuperPoint + LightGlue，LoFTR和SparseNCNet。