FLex: Joint Pose and Dynamic Radiance Fields Optimization for Stereo Endoscopic Videos

内窥镜场景的重建对于各种医疗应用非常重要，从手术后分析到教育培训。神经渲染最近在内窥镜重建方面展现出了很有前途的结果，尤其是在组织变形方面。然而，该设置一直被限制在静态内窥镜、有限的变形或需要外部跟踪设备来获取内窥镜摄像机的摄像头姿态信息。通过FLex，我们解决了在高度动态的变形组织环境中移动内窥镜的具有挑战性的设置。我们提出了一种隐式场景分离成多个重叠的4D神经辐射场（NeRFs）和一个渐进优化方案，从头开始联合优化重建和摄像头姿态。这提高了易用性，并允许在时间上扩展重建能力，以处理5000帧以上的手术视频；与现有技术相比，这是一个超过十倍的改进，同时对外部跟踪信息不加区分。在StereoMIS数据集上进行了广泛的评估，结果表明FLex在保持竞争性姿态精度的同时，显著提高了新视角合成的质量。

本文旨在解决内窥镜场景重建的问题，尤其是针对高度动态的变形组织和移动内窥镜的情况。

本文提出了一种基于神经辐射场（NeRF）的方法，将场景隐式分离成多个重叠的4D NeRF，并通过渐进式优化方案从头开始联合优化重建和相机姿态，从而提高重建能力的可扩展性。

本文的亮点包括：使用FLex方法解决了高度动态的内窥镜场景重建问题；提出了基于NeRF的隐式场景分离方法；通过渐进式优化方案联合优化重建和相机姿态；在StereoMIS数据集上进行了广泛的评估，并取得了显著的性能提升。

最近在内窥镜场景重建领域的相关研究包括：DeepSDF、DeepMarching、Neural Volumes等。