OmniGlue: Generalizable Feature Matching with Foundation Model Guidance

图像匹配领域一直在见证新的可学习特征匹配技术的不断涌现，这些技术在传统基准测试中的表现也越来越好。然而，我们的调查表明，尽管取得了这些进展，但它们在应用于真实世界的潜力受到了限制，因为它们对新颖图像领域的泛化能力有限。在本文中，我们介绍了OmniGlue，这是第一个以泛化为核心原则设计的可学习图像匹配器。OmniGlue利用视觉基础模型的广泛知识来指导特征匹配过程，提高了对训练时未见过的领域的泛化能力。此外，我们提出了一种新颖的关键点位置引导的注意机制，它将空间和外观信息分离开来，从而导致匹配描述符的增强。我们在包括场景级、物体中心和航空图像在内的7个具有不同图像领域的数据集上进行了全面的实验。相对于直接可比较的参考模型，OmniGlue的新颖组件导致了在未见过的领域上相对增益达20.9％，同时也比最近的LightGlue方法相对提高了9.5％。代码和模型可以在https://hwjiang1510.github.io/OmniGlue找到。

论文旨在解决图像匹配技术在新领域中的泛化能力问题，提出了一种以泛化为核心原则的学习图像匹配方法。

OmniGlue是一种学习图像匹配的方法，它利用视觉基础模型的广泛知识来引导特征匹配过程，从而提高到训练时未见过的领域的泛化能力。同时，论文还提出了一种新的关键点位置引导的注意机制，分离了空间和外观信息，从而提高了匹配描述符的性能。

论文在7个具有不同图像领域的数据集上进行了全面的实验，包括场景级别、物体中心和航空图像。OmniGlue的新组件相对于直接可比的参考模型在未见过的领域上相对增益了20.9％，同时也比最近的LightGlue方法相对增益了9.5％。论文提供了代码和模型。

最近的相关研究包括LightGlue和其他可学习的特征匹配技术，如SuperGlue和DELF。