S-TREK: Sequential Translation and Rotation Equivariant Keypoints for local feature extraction

解决问题：本篇论文旨在提出一种新的局部特征提取器S-TREK，以解决在计算机视觉中的特征提取问题。具体来说，该方法结合了一个深度关键点检测器和一个轻量级的深度描述符提取器，旨在提高关键点的重复性和姿态估计的质量。

关键思路：该论文的关键思路是提出了一种全新的局部特征提取器S-TREK，它采用了一种基于强化学习的框架来训练其关键点检测器，并采用“检测-描述”方法来训练其描述符提取器。与当前领域的研究相比，S-TREK具有既能够处理平移又能够处理旋转的特点，具有较高的重复性和姿态估计的质量。

其他亮点：该论文使用了多个基准测试数据集进行实验，证明了S-TREK方法的有效性，并且在处理平面旋转时表现出色。此外，该论文还提供了开源代码，便于其他研究者进行进一步研究和应用。

相关研究：近期的相关研究包括：

  1. "SuperPoint: Self-Supervised Interest Point Detection and Description" by Daniel DeTone, Tomasz Malisiewicz, and Andrew Rabinovich from Facebook AI Research.
  2. "LF-Net: Learning Local Features from Images" by Zixin Luo, Tianwei Shen, Lei Zhou, Siyuan Zhu, Runze Zhang, Yao Yao, and Shiwei Li from ByteDance AI Lab and Nankai University.
  3. "D2-Net: A Trainable CNN for Joint Detection and Description of Local Features" by Mihai Dusmanu, Ignacio Rocco, Tomas Pajdla, and Marc Pollefeys from ETH Zurich and Czech Technical University in Prague.

论文摘要：本文介绍了一种新的局部特征提取器S-TREK，它将一个既具有平移不变性又具有旋转等变性的深度关键点检测器与一个轻量级的深度描述符提取器相结合。我们在强化学习的框架下训练S-TREK关键点检测器，利用一种顺序程序来最大化与关键点重复性直接相关的奖励。我们的描述符网络采用“先检测，再描述”的方法进行训练，其中描述符损失仅在已经训练好的检测器选择关键点的位置进行评估。在多个基准测试中进行了广泛的实验，证实了我们提出的方法的有效性，特别是在处理平面旋转时，S-TREK通常优于其他最先进的方法，具有更好的重复性和恢复姿态的质量。

内容中包含的图片若涉及版权问题，请及时与我们联系删除