SPVLoc: Semantic Panoramic Viewport Matching for 6D Camera Localization in Unseen Environments

本文提出了SPVLoc，一种全局室内定位方法，可以准确确定查询图像的六维相机姿态，并且需要最少的场景特定先验知识和没有场景特定训练。我们的方法采用一种新颖的匹配过程，将透视相机的视口（以RGB图像表示）定位在室内环境的全景语义布局表示集合中。全景图像是从一个未纹理化的3D参考模型渲染而来，该模型仅包含有关房间形状的近似结构信息以及门窗的注释。我们证明了一个简单的卷积网络结构可以成功实现图像到全景图像，最终实现图像到模型的匹配。通过视口分类得分，我们对参考全景图像进行排名，并选择最佳匹配的查询图像。然后，在所选全景图像和查询图像之间估计6D相对姿态。我们的实验表明，这种方法不仅有效地弥合了领域差距，而且在以前未见过的不属于训练数据的场景中具有很好的泛化性能。此外，与现有技术方法相比，它实现了更多的相机姿态自由度，并且具有更高的定位精度。我们将公开我们的源代码，网址为https://github.com/fraunhoferhhi/spvloc。

本文旨在提出一种全局室内定位方法，能够准确确定查询图像的六维相机姿态，并需要最少的场景特定先验知识和无需场景特定训练。这篇论文的问题是如何实现室内定位？

本文提出了一种新颖的匹配程序，将透视相机视口（以RGB图像形式给出）定位在室内环境的全景语义布局表示中。通过使用卷积神经网络结构实现图像到全景图像和最终图像到模型的匹配，并通过视口分类分数对参考全景图像进行排名，选择最佳匹配的全景图像和查询图像之间的六维相对姿态。相比当前领域的研究，本文的思路是通过使用全景图像和卷积神经网络结构来实现室内定位。

本文的实验设计是使用未经过训练的3D参考模型，仅包含关于房间形状的近似结构信息以及门窗注释。实验结果表明，该方法不仅能够有效地跨越领域差距，而且能够很好地推广到以前未见过的场景。此外，相比于现有的方法，本文实现了更高的定位精度，并估计了相机姿态的更多自由度。作者将开源代码发布在https://github.com/fraunhoferhhi/spvloc。

在这个领域的相关研究包括：《Deep Learning-Based Indoor Localization: A Comprehensive Survey》、《Indoor Localization Using WiFi Fingerprinting: A Comprehensive Survey and Analysis》、《A Survey of Indoor Localization Systems and Technologies》等。