Zero-Shot Image Feature Consensus with Deep Functional Maps

通过对生成性和判别性任务训练的大规模视觉模型，可以发现对应关系。通过在特征网格上使用最近邻方法，计算图像对之间的对应关系并进行基准测试。现有的工作试图通过仔细地混合来自不同来源的特征（例如，组合不同层或网络的特征）来改善这些对应关系图的质量。我们指出，有一种更好的对应策略可用，它直接对对应场施加结构：函数映射。我们使用这个简单的数学工具，将对应问题从像素空间提升到函数空间，并直接优化全局一致的映射。我们证明了我们的技术产生的对应关系不仅更加平滑，而且更加准确，并有可能更好地反映我们正在研究的大规模视觉模型中嵌入的知识。我们的方法在各种密集对应任务上创造了新的最先进技术。我们还展示了我们在关键点对应和可负担性映射转移方面的有效性。

本文旨在解决图像对应问题，通过在函数空间中直接优化全局一致的映射，提高对应质量。

本文的关键思路是使用函数映射（functional map）将图像对应问题从像素空间转化到函数空间，并直接优化全局一致的映射，以提高对应质量。

本文提出的方法在各种密集对应任务中取得了新的最佳效果，同时在关键点对应和场景转移方面也表现出良好的效果。实验使用了多个数据集，并公开了代码。

在图像对应领域，之前的工作主要集中在特征融合和网络结构优化上，如多层特征融合和不同网络的特征融合。