XFeat: Accelerated Features for Lightweight Image Matching

我们提出了一种轻量级且准确的架构，用于资源高效的视觉对应。我们的方法被称为XFeat（加速特征），重新审视了卷积神经网络在检测、提取和匹配局部特征方面的基本设计选择。我们的新模型满足了快速和稳健的算法在资源有限的设备上使用的关键需求。特别是，准确的图像匹配需要足够大的图像分辨率，因此我们在保持分辨率尽可能大的同时限制了网络中的通道数。此外，我们的模型旨在提供在稀疏或半密级别上进行匹配的选择，每个级别都可能更适合不同的下游应用，例如视觉导航和增强现实。我们的模型是第一个高效地提供半密匹配的模型，利用了一种基于粗略局部描述符的新型匹配细化模块。XFeat是通用且与硬件无关的，速度比当前基于深度学习的局部特征快（最多快5倍），并具有相当或更好的准确性，在姿态估计和视觉定位方面得到了证明。我们展示了它在廉价的笔记本电脑CPU上实时运行，无需专门的硬件优化。代码和权重可在www.verlab.dcc.ufmg.br/descriptors/xfeat_cvpr24上获得。

本文旨在提出一种轻量级、准确的资源高效视觉对应架构，以满足在资源有限的设备上进行快速而稳健的图像匹配的需求。

XFeat（Accelerated Features）是一种新的模型，它重新审视了卷积神经网络在检测、提取和匹配局部特征方面的基本设计选择，并通过限制网络中的通道数，尽可能地保持分辨率的大型，旨在提供在稀疏或半稠密级别上进行匹配的选择，每个级别可能更适合不同的下游应用，如视觉导航和增强现实。此外，XFeat是第一个有效地提供半稠密匹配的模型，利用基于粗略局部描述符的新型匹配细化模块。XFeat是通用且与硬件无关的，速度比当前基于深度学习的本地特征快（最多快5倍），准确性相当或更好，在姿态估计和视觉定位方面得到证明。

本文的亮点包括：1. 提出了一种轻量级、准确的资源高效视觉对应架构XFeat；2. XFeat可以在稀疏或半稠密级别上进行匹配，具有更高的灵活性；3. XFeat是第一个有效地提供半稠密匹配的模型；4. XFeat速度快、准确性高，在姿态估计和视觉定位方面得到证明；5. 作者提供了代码和权重，可以在网站上下载。

在这个领域中，最近的相关研究包括：1. SuperPoint: Self-Supervised Interest Point Detection and Description（CVPR2018）；2. D2-Net: A Trainable CNN for Joint Detection and Description of Local Features（CVPR2019）；3. LF-Net: Learning Local Features from Images（IJCV2020）等。