Deform3DGS: Flexible Deformation for Fast Surgical Scene Reconstruction with Gaussian Splatting

组织变形是精确外科手术场景重建的关键挑战。尽管现有方法能够产生高质量的重建结果，但渲染速度慢、训练时间长，限制了它们在手术过程中的应用。受到实时3D渲染中新兴技术3D高斯光斑技术的最新进展的启发，本文提出了一种新的快速重建框架Deform3DGS，用于内窥镜手术中可变形组织的重建。具体来说，我们通过整合点云初始化来将3D高斯光斑引入手术场景，以改善重建效果。此外，我们提出了一种新颖的灵活变形建模方案（FDM），以学习单个高斯光斑级别的组织变形动态。我们的FDM可以使用高效的表示来建模表面变形，从而实现实时渲染性能。更重要的是，FDM显著加速了手术场景的重建，特别是在时间效率至关重要的手术过程中，具有相当大的临床价值。对DaVinci机器人手术视频的实验表明了我们方法的有效性，展示了卓越的重建保真度PSNR（37.90）和渲染速度（338.8 FPS），同时将训练时间大大缩短至每场景1分钟。

解决手术中组织变形对于精确手术场景重建的挑战，提高手术场景重建的速度和实时性

将3D高斯点云渲染技术应用于手术场景重建中，提出柔性变形建模方案，学习组织变形动力学，实现实时渲染和快速重建

实验在DaVinci机器人手术视频上进行，展示了优秀的重建保真度和渲染速度，同时训练时间也大大缩短至1分钟/场景

最近的相关研究包括基于深度学习的手术重建方法和基于点云渲染的手术重建方法，例如《DeepSurgery: Learning to Segment and Reconstruct Surgical Scenes from Multimodal Data》和《Real-time 3D Endoscopic Scene Reconstruction using Point-based Fusion》