SfM on-the-fly: Get better 3D from What You Capture

在过去的二十年中，从图像中重建三维结构（SfM）一直是摄影测量、计算机视觉、机器人等领域的研究热点，而实时性能则是最近越来越受关注的话题。本文在原有的即时SfM（Zhan等人，2024）基础上进行了改进，并提出了三个新的进展，以更好地从所捕捉的图像中获得三维重建结果：（i）采用分层可导航小世界（HNSW）图进一步提高了实时图像匹配的性能，从而更快地识别出更多真正的重叠图像；（ii）提出了一种自适应加权策略，用于强健的分层局部束调整以改善SfM结果；（iii）增加了多个代理以支持协作式SfM，并在共同注册的图像出现时无缝地将多个3D重建结果合并成一个完整的3D场景。各种综合实验表明，所提出的SfM方法（称为即时SfMv2）可以以高效的方式生成更完整、更强健的三维重建结果。代码可在http://yifeiyu225.github.io/on-the-flySfMv2.github.io/上获得。

提高基于结构从运动的三维重建的实时性能

使用HNSW图来加速实时图像匹配，提出自适应加权策略来改进局部束调整，引入多个代理支持协作SfM并将多个3D重建无缝合并为完整的3D场景

提出的on-the-fly SfMv2方法可以更高效地生成更完整和稳健的三维重建，代码已经开源

最近的相关研究包括基于深度学习的三维重建和实时视觉SLAM