Hybrid Structure-from-Motion and Camera Relocalization for Enhanced Egocentric Localization

我们构建了我们的管道EgoLoc-v1，主要受到EgoLoc的启发。我们提出了一种模型集成策略，以改进VQ3D任务中的相机姿态估计部分，这在以前的工作中已被证明是必不可少的。核心思想不仅是对自我中心视频进行SfM，还要在现有的3D扫描和2D视频帧之间进行2D-3D匹配。通过这种方式，我们拥有了混合SfM和相机重定位管道，可以为我们提供更多的相机姿态，从而导致更高的QwP和整体成功率。我们的方法在最重要的指标——整体成功率方面取得了最佳性能。我们超过了之前的最先进技术，竞争对手EgoLoc，达到了1.5％的提高。代码可在\url{https://github.com/Wayne-Mai/egoloc_v1}获得。

论文旨在通过提出一种模型集成策略来改善VQ3D任务中的相机姿态估计部分，以提高成功率。

论文提出了一种混合SfM和相机重定位管道，通过在现有的3D扫描和2D视频帧之间进行2D-3D匹配，不仅对egocentric视频进行SfM，还可以提供更多的相机姿态，从而提高成功率。

该方法在最重要的指标——总体成功率方面实现了最佳性能，超过了竞争对手EgoLoc的1.5％。代码已开源。

与该研究相关的其他研究包括EgoLoc。