VLM-Guided Visual Place Recognition for Planet-Scale Geo-Localization

从单张图像进行全球范围的地理定位（本质上是被劫持机器人问题的一种高级或极端形式）是一项基础但具有挑战性的任务，在导航、自动驾驶和灾害响应等应用中尤为重要。由于地点、环境条件和场景外观的多样性极大，传统的基于检索的地理定位方法在可扩展性和应对感知混淆问题上存在困难，而基于分类的方法则缺乏泛化能力，并且需要大量的训练数据。近年来，视觉-语言模型（VLM）的发展为这一问题提供了新的解决思路，它通过利用上下文理解和推理能力，成为了一种有前景的替代方案。然而，尽管VLM在准确率方面表现优异，但它们常常容易产生幻觉且缺乏可解释性，因此单独使用时并不可靠。 在本研究中，我们提出了一种全新的混合式地理定位框架，将VLM的优势与基于检索的视觉地点识别（VPR）方法相结合。我们的方法首先利用VLM生成一个地理先验信息，从而有效地引导和限制检索的搜索空间。随后，我们进行检索步骤，并通过一个重新排序机制，根据特征相似性和与初始估计坐标的接近程度，选择最符合地理逻辑的匹配结果。我们在多个地理定位基准数据集上对所提出的方法进行了评估，结果表明该方法在街道级别（最高提升4.51%）和城市级别（最高提升13.52%）上均持续优于以往最先进的方法。我们的研究结果表明，将VLM生成的地理先验与VPR相结合，可以构建出具备可扩展性、鲁棒性和高精度的地理定位系统。

论文旨在解决单张图像的全球尺度地理定位问题，这是一个具有挑战性的任务，尤其在面对大量位置、环境变化和场景多样性时。该问题可以看作是“绑架机器人问题”的极端版本，在导航、自动驾驶和灾害响应等应用中至关重要。

论文提出了一种结合视觉-语言模型（VLM）和基于检索的视觉地点识别（VPR）方法的混合地理定位框架。其关键思路是利用VLM生成地理先验信息，缩小检索空间，再通过VPR进行检索和重新排序，选出地理上最合理的匹配结果。这种结合VLM的语义理解和VPR的可解释检索能力的方法，在该领域具有创新性。

1. 提出了一种新的混合框架，结合了VLM的上下文理解能力和VPR的检索能力 2. 通过VLM生成地理先验信息来引导检索过程，提高了定位精度和效率 3. 在多个地理定位基准上取得了优于现有最先进方法的结果，尤其在街道级别（提升4.51%）和城市级别（提升13.52%） 4. 实验设计严谨，验证了方法在不同尺度下的有效性 5. 结果表明该方法具有良好的可扩展性、鲁棒性和准确性 6. 未来值得研究的方向包括进一步优化VLM与VPR的协同机制、开源代码与模型的发布

1. 《Image-based Localization: Learning to Match Images with Coordinate Regression》 2. 《Visual Place Recognition: A Survey of Recent Advances and Future Directions》 3. 《Vision-and-Language Navigation: A Survey of Tasks, Methods, and Future Directions》 4. 《Geolocation Estimation from Image Content: A Survey》 5. 《Large-scale Image Retrieval with Vision Transformers and Contrastive Learning》