LGS: A Light-weight 4D Gaussian Splatting for Efficient Surgical Scene Reconstruction

2024年06月23日
  • 简介
    3D高斯喷洒(3D-GS)技术及其动态场景建模变体4D-GS的出现,为实时呈现动态手术场景提供了有希望的前景。然而,通过大量高斯单位建模动态场景的先决条件,高维高斯属性和高分辨率变形场,都导致存储问题,阻碍了资源有限的手术设备的实时渲染。为了克服这些限制,我们引入了一种轻量级4D高斯喷洒框架(LGS),可以解放动态内窥镜重建的渲染和存储效率瓶颈。具体而言,为了最小化高斯量的冗余,我们提出了变形感知修剪,通过评估每个高斯对变形的影响。同时,为了减少高斯属性的冗余,我们通过修剪高斯属性的维度,简化了非关键区域的纹理和照明的表示。我们进一步通过4D特征场浓缩,解决了由于4D神经时空编码器对动态场景建模的高分辨率而引起的特征场冗余。公共基准测试的实验表明,LGS在保持令人满意的视觉质量和实时渲染效率的同时,压缩率超过9倍。LGS确认了向机器人手术服务应用迈出的实质性一步。
  • 图表
  • 解决问题
    解决问题:如何在资源受限的手术设备上实现实时渲染动态内窥镜重建?
  • 关键思路
    关键思路:提出轻量级4D高斯喷洒框架(LGS),通过变形感知修剪、高斯属性简化和4D特征场凝聚等方式,解决高维高分辨率数据存储和渲染效率瓶颈问题。
  • 其它亮点
    亮点:LGS在保持良好视觉质量和实时渲染效率的同时,压缩率超过9倍。实验使用公共基准数据集,是向机器人手术服务应用迈出的重要一步。
  • 相关研究
    相关研究:最近的相关研究包括“Dynamic Scene Modeling for Surgical Navigation Using 4D Gaussian Splatting”和“Real-time 3D Reconstruction and Localization for Endoscopic Vision-Based Navigation”。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论