Free-SurGS: SfM-Free 3D Gaussian Splatting for Surgical Scene Reconstruction

实时三维重建手术场景在计算机辅助手术中发挥着重要作用，有望增强外科医生的视野。最近，三维高斯光斑（3DGS）的进展显示出在一般场景下实时新视角合成的巨大潜力，这依赖于由运动结构（SfM）生成的精确姿态和点云进行初始化。然而，基于SfM的3DGS在手术场景中无法恢复准确的相机姿态和几何形状，因为面临着最小纹理和光度不一致的挑战。为了解决这个问题，本文提出了第一个基于无SfM的3DGS的手术场景重建方法，通过联合优化相机姿态和场景表示来实现。基于视频连续性，我们的方法的关键在于利用直接光流先验来指导从3D高斯导出的投影流。与大多数先前仅依赖于光度损失的方法不同，我们将姿态估计问题形式化为最小化投影流和光流之间的流失。进一步引入一致性检查，通过检测满足极线几何的刚性可靠点来过滤流离群值。在3D高斯优化期间，我们随机抽取帧来优化场景表示，逐步增加3D高斯。在SCARED数据集上的实验表明，我们在新视角合成和姿态估计方面具有优越的性能和高效率，代码可在https://github.com/wrld/Free-SurGS上获得。

论文旨在解决实时三维重建手术场景的问题。传统的基于SfM的三维高斯光滑（3DGS）方法在手术场景中无法恢复准确的相机姿态和几何形状，因为手术场景中存在最小纹理和光度不一致性的挑战。

论文提出了一种基于3DGS的SfM-free方法，通过联合优化相机姿态和场景表示来重建手术场景。该方法利用即时光流先验来指导从3D高斯中导出的投影流，将姿态估计问题形式化为最小化投影流和光流之间的流失。在3D高斯优化期间，随机采样帧以逐步增长3D高斯的场景表示。

该论文提出的方法在SCARED数据集上的实验表明，在新视角合成和姿态估计方面，与现有方法相比具有卓越的性能和高效性。该论文的代码已经开源。

最近的相关研究包括：1.深度学习方法在手术场景中的应用；2.基于光流的相机姿态估计方法；3.基于SfM的三维重建方法。