Efficient LoFTR: Semi-Dense Local Feature Matching with Sparse-Like Speed

我们提出了一种新方法，可以高效地产生图像间的半稠密匹配。之前的无检测器匹配器LoFTR在处理大视角变化和纹理较差的场景时表现出了卓越的匹配能力，但效率较低。我们重新审视了它的设计选择，并为提高效率和准确性提出了多个改进。其中一个关键观察是，由于共享本地信息，对整个特征图执行变换是多余的，因此我们提出了一种聚合的注意力机制，具有自适应令牌选择以提高效率。此外，我们发现LoFTR的精细相关模块存在空间变化，这对匹配精度是不利的。我们提出了一种新的两阶段相关层，以实现精确的亚像素对应关系，从而提高准确性。我们优化了效率的模型比LoFTR快约2.5倍，甚至可以超过最先进的高效稀疏匹配流水线SuperPoint + LightGlue。此外，广泛的实验表明，与竞争性的半稠密匹配器相比，我们的方法可以实现更高的准确性，并带来相当的效率优势。这为大规模或延迟敏感的应用，如图像检索和三维重建，开辟了令人兴奋的前景。项目页面：https://zju3dv.github.io/efficientloftr。

该论文旨在提出一种高效的半密集匹配方法，解决之前的方法在处理大视角变化和纹理贫乏场景时效率低下的问题。这是否是一个新问题？

该论文提出了多种改进方案，包括聚合注意力机制和自适应令牌选择，以及两阶段相关层，以提高效率和精度。相比当前领域的研究，这些方案有新意。

该论文的亮点包括提出的改进方案可以使模型比之前的方法快2.5倍，甚至超过了最先进的高效稀疏匹配流水线SuperPoint + LightGlue；实验结果表明，该方法在精度和效率方面都优于竞争性的半密集匹配器，可以在图像检索和三维重建等大规模或延迟敏感应用中使用。该论文的项目页面提供了代码和数据集。

最近的相关研究包括SuperPoint和LoFTR等方法。