DeDoDe v2: Analyzing and Improving the DeDoDe Keypoint Detector

本文对最近提出的DeDoDe关键点检测器进行了分析和改进。我们的分析聚焦于一些关键问题。首先，我们发现DeDoDe关键点倾向于聚集在一起，我们通过在训练期间对检测器的目标分布执行非极大值抑制来解决这个问题。其次，我们解决了与数据增强相关的问题。特别是，DeDoDe检测器对大的旋转敏感，我们通过包括90度旋转以及水平翻转来解决这个问题。最后，DeDoDe检测器的解耦特性使得下游有用性的评估存在问题。我们通过将关键点与预训练的密集匹配器（RoMa）匹配并评估双视角姿态估计来解决这个问题。我们发现原始的长时间训练对性能有害，因此提出了一个更短的训练计划。我们将所有这些改进集成到我们提出的DeDoDe v2检测器中，并在MegaDepth-1500和IMC2022基准测试中使用原始的DeDoDe描述符进行评估。我们提出的检测器显着提高了姿态估计结果，尤其是在IMC2022挑战中，从75.9提高到了78.3 mAA。代码和权重可在https://github.com/Parskatt/DeDoDe上获得。

本文旨在分析和改进最近提出的DeDoDe关键点检测器。主要解决DeDoDe关键点聚集在一起的问题、数据增强方面的问题以及评估下游用途的问题。

本文的关键思路是在训练期间对检测器的目标分布进行非最大抑制，解决关键点聚集在一起的问题；通过增加90度旋转和水平翻转来解决DeDoDe对大旋转的敏感性；通过与预训练的密集匹配器（RoMa）匹配关键点并评估双视图姿态估计来解决DeDoDe分离式检测器评估下游用途的问题；并且提出了DeDoDe v2检测器，使用更短的训练时间表现更好。

本文使用了MegaDepth-1500和IMC2022数据集进行实验，并公开了代码和权重。DeDoDe v2检测器在IMC2022挑战赛中的平均角度误差从75.9提高到了78.3，取得了显著的性能提升。

近期的相关研究包括CornerNet-Lite、CenterNet和CornerNet等。