CudaSIFT-SLAM: multiple-map visual SLAM for full procedure mapping in real human endoscopy

单目视觉同时定位和建图（V-SLAM）现在是移动机器人和增强现实中不可替代的工具，表现出强大的性能。然而，人类结肠镜检查面临着诸多挑战，如遮挡、模糊、光照变化、缺乏纹理、变形、水喷射或工具交互等，这些都会导致非常频繁的跟踪丢失。目前表现最好的多地图V-SLAM系统ORB-SLAM3无法通过合并子地图或重新定位相机来从中恢复，因为其基于ORB特征和DBoW2词袋的地点识别算法表现较差。 我们提出了CudaSIFT-SLAM，这是第一个能够实时处理完整人类结肠镜检查的V-SLAM系统。为了克服ORB-SLAM3的限制，我们使用SIFT代替ORB特征，并用更加计算密集的暴力匹配替换DBoW2直接索引，能够成功地匹配时间上分离的图像以进行重定位和地图合并。实时性能得益于CudaSIFT，这是一个用于SIFT特征提取和暴力匹配的GPU实现。 我们在C3VD幻像结肠数据集和Endomapper数据集中对我们的系统进行了基准测试，展示了合并子地图和在其中重定位的能力，获得了显著更长的子地图。我们的系统成功地实时映射了C3VD数据集中88％的帧。在实际筛查结肠镜检查中，尽管遮挡和模糊帧的普遍性更高，但在仔细探索的区域中，映射覆盖率为53％，在整个序列中为38％，比ORB-SLAM3提高了70％。

解决问题：本论文旨在解决在人体内进行单目视觉同时定位和建图（V-SLAM）时面临的挑战，如遮挡、模糊、光照变化等问题，以及ORB-SLAM3无法处理这些问题的困境。

关键思路：本论文提出了CudaSIFT-SLAM，采用SIFT特征代替ORB特征，并将DBoW2直接索引替换为更具计算要求的暴力匹配，以便成功匹配时间上相隔较远的图像进行重定位和地图合并。此外，利用GPU实现了SIFT特征提取和暴力匹配，以实现实时性能。

其他亮点：本论文在C3VD幻影结肠数据集和Endomapper结肠镜数据集中进行了测试，并成功地合并子地图并在其中重新定位，获得了显着更长的子地图。在C3VD数据集中，本系统成功地实时映射了88％的帧。在实际筛查结肠镜检查中，尽管遮挡和模糊的帧更多，但在仔细探测的区域中，映射覆盖率为53％，在整个序列中为38％，比ORB-SLAM3提高了70％。

相关研究：最近的相关研究包括使用深度学习的V-SLAM方法，如DSO和CNN-SLAM。