G3: An Effective and Adaptive Framework for Worldwide Geolocalization Using Large Multi-Modality Models

全球地理定位旨在定位地球上任何地方拍摄的照片的坐标级精确位置。由于1）捕捉微妙的位置感知视觉语义的困难，以及2）图像数据的异构地理分布，这非常具有挑战性。因此，现有研究在扩展到全球范围时存在明显的局限性。它们可能会将远距离图像与相似的视觉内容混淆，或者无法适应全球各地不同数量的相关数据。为了解决这些限制，我们提出了G3，这是一种基于检索增强生成（RAG）的新框架。特别是，G3包括三个步骤，即地理对齐，地理多样化和地理验证，以优化全球地理定位的检索和生成阶段。在地理对齐期间，我们的解决方案联合学习图像，GPS和文本描述的表达式多模态表示，从而允许我们捕捉用于检索给定查询的附近图像的位置感知语义。在地理多样化期间，我们利用一种对不同图像查询的不一致检索性能具有鲁棒性的提示整合方法。最后，在地理验证中，我们将检索和生成的GPS候选项组合起来进行位置预测。对两个知名数据集IM2GPS3k和YFCC4k的实验验证了G3相对于其他最先进方法的优越性。

解决全球地理定位中存在的两个问题：难以捕捉微妙的位置感知视觉语义和图像数据的异构地理分布。

提出了一种基于检索增强生成（RAG）的新框架G3，包括三个步骤：地理对齐，地理多样化和地理验证，以优化全球地理定位的检索和生成阶段。

实验结果表明，G3相比其他最先进的方法具有更好的性能。使用了IM2GPS3k和YFCC4k两个公共数据集进行实验验证。

最近的相关研究包括：《End-to-End Learning of Driving Models from Large-Scale Video Datasets》、《Deep Learning for Precipitation Nowcasting: A Benchmark and A New Model》、《Deep Learning for Remote Sensing Data: A Technical Tutorial on the State of the Art》等。