Collaborative Visual Place Recognition through Federated Learning

Visual Place Recognition（VPR）旨在将图像视为检索问题，以估计其位置。VPR使用地理标记图像的数据库，并利用深度神经网络从每个图像中提取称为描述符的全局表示。虽然VPR模型的训练数据通常来自于各种地理分散的来源（地理标记图像），但训练过程本身通常被认为是集中式的。本研究通过联邦学习（FL）的视角重新审视了VPR任务，解决了与此适应相关的几个关键挑战。 VPR数据本质上缺乏明确定义的类别，并且通常使用对比学习进行训练，这需要在集中式数据库上进行数据挖掘。此外，联邦系统中的客户端设备在其处理能力方面可能高度异构。所提出的FedVPR框架不仅提供了VPR的新方法，而且还为FL研究引入了一个新的、具有挑战性和现实任务，为FL中的其他图像检索任务铺平了道路。

本论文旨在探讨如何将Federated Learning（FL）应用于Visual Place Recognition（VPR）任务中，并解决该任务在FL中所面临的挑战，如数据缺乏明确定义的类别，模型需要在集中式数据库上进行对比学习等问题。

该论文提出了一种名为FedVPR的框架，将FL和VPR相结合，利用联邦学习的优势，使得客户端设备可以在本地训练模型，避免了集中式学习的隐私问题和通信瓶颈，同时通过引入一种新的数据聚合方法来保证模型的性能。

论文设计了一系列实验，验证了FedVPR框架的有效性，并与其他联邦学习方法进行了比较。使用了几个流行的数据集，如Pittsburgh 30k，Oxford 5k等，并公开了代码。该研究为联邦学习在图像检索领域的应用提供了新思路。

最近的相关研究包括：Federated Learning for Computer Vision: Challenges and Opportunities（CVPR 2020），Federated Learning with Non-IID Data: An Empirical Study（ICML 2019），Federated Learning: Strategies for Improving Communication Efficiency（arXiv 2017）等。