PRISM: PRogressive dependency maxImization for Scale-invariant image Matching

图像匹配旨在识别一对图像之间的对应点。目前，无需检测器的方法在具有挑战性的场景中展现出令人印象深刻的性能，这要归功于它们生成密集匹配和全局感受野的能力。然而，在整个图像中执行特征交互和提出匹配是不必要的，因为并非所有图像区域都对匹配过程有贡献。在不可匹配的区域进行交互和匹配可能会引入误差，降低匹配精度和效率。同时，尺度差异问题仍然困扰着现有方法。为了解决上述问题，我们提出了PRISM（PRogressive dependency maxImization for Scale-invariant image Matching），它联合修剪不相关的补丁特征并解决尺度差异问题。为此，我们首先提出了一个多尺度修剪模块（MPM），通过最大化两个特征集之间的依赖性来自适应地修剪不相关的特征。此外，我们设计了尺度感知的动态修剪注意力（SADPA），通过分层设计汇集来自不同尺度的信息。我们的方法在各种评估基准和下游任务中具有卓越的匹配性能和泛化能力。代码公开在https://github.com/Master-cai/PRISM。

本论文旨在解决图像匹配中存在的问题，包括不必要的特征交互和匹配，尺度差异问题以及错误导致的匹配精度和效率下降。

论文提出了PRISM方法，通过逐步剪枝不相关的特征并处理尺度差异问题来解决图像匹配问题。其中，多尺度剪枝模块（MPM）和尺度感知动态剪枝注意力（SADPA）是关键思路。

论文通过在各种评估基准和下游任务中获得领先的准确性来证实其方法的优越性和泛化能力。代码公开在github上。

最近的相关研究包括：Detector-free的方法在挑战性场景下表现出色，特征交互和匹配会引入错误，尺度不匹配是当前方法的困扰。