Efficient EndoNeRF Reconstruction and Its Application for Data-driven Surgical Simulation

医疗保健行业越来越需要逼真的手术场景建模和高效的模拟。通过使用可变形手术场景的有效模型，临床医生可以在接近真实世界情况的情景下进行手术规划和手术培训。然而，实现这一目标的一个重要挑战是缺乏具有准确形状和纹理的高质量软组织模型。为了解决这一差距，我们提出了一个数据驱动的框架，利用新兴的神经辐射场技术实现高质量的手术重建，并探索其在手术模拟中的应用。我们首先专注于开发一种快速的基于NeRF的手术场景三维重建方法，其性能达到了最先进的水平。这种方法可以显著优于传统的三维重建方法，这些方法无法捕捉大量的变形并产生细粒度的形状和纹理。然后，我们提出了一种通过闭合网格提取算法自动创建交互式手术模拟环境的流水线。我们的实验验证了我们提出的手术场景三维重建方法的卓越性能和效率。我们进一步利用我们重建的软组织进行FEM和MPM模拟，展示了我们的方法在数据驱动的手术模拟中的实际应用。

论文旨在解决医疗行业对于逼真建模和高效仿真手术场景的需求，通过数据驱动的方法实现高质量手术重建和仿真。

论文提出了一种基于神经辐射场技术的快速手术场景三维重建方法，并通过闭合网格提取算法自动创建交互式手术仿真环境。

论文提出的方法在手术场景三维重建方面表现出色，并在有限元和材料点法仿真方面得到了实际应用。实验使用了开放数据集，并提供了开源代码。

近期相关研究包括《Deep Learning for Surgical Tool Detection and Tracking: A Review》、《Deep Learning in Surgical Robotics: A Review》等。