HFGS: 4D Gaussian Splatting with Emphasis on Spatial and Temporal High-Frequency Components for Endoscopic Scene Reconstruction

机器人辅助微创手术受益于增强动态场景重建，因为它能够改善手术结果。虽然神经辐射场（NeRF）在场景重建方面非常有效，但它们的推理速度缓慢和训练时间长限制了它们的适用性。为了克服这些限制，基于三维高斯点插值（3D-GS）的方法成为最近的趋势，具有快速推理能力和优越的三维质量。然而，这些方法在静态和动态场景下仍然难以进行充分重建。本文提出了一种新的可变形内窥镜重建方法HFGS，从空间和时间频率的角度解决了这些挑战。我们的方法将变形场纳入考虑，以更好地处理动态场景，并引入空间高频重点重建（SHF）来减少渲染图像和其真实图像之间的空间频率谱差异。此外，我们引入了时间高频重点重建（THF）来通过利用流先验增强神经渲染中的动态感知，将优化重点放在运动强度部分。在两个广泛使用的基准测试上进行的大量实验表明，HFGS实现了卓越的渲染质量。我们的代码将会公开。

论文旨在解决机器人辅助微创手术中的动态场景重建问题，提高手术效果。当前Neural Radiance Fields (NeRF)虽然能够有效重建场景，但推理速度慢，训练时间长，限制了其应用。而3D Gaussian Splatting (3D-GS)方法具有快速推理和优秀的3D质量，但仍然存在静态和动态场景下的欠重建问题。

论文提出了一种新的方法HFGS，从空间和时间频率的角度解决了动态场景重建的挑战。该方法通过引入变形场来更好地处理动态场景，并引入空间高频强调重建（SHF）来最小化渲染图像与其真实图像之间的空间频率差异。此外，通过利用流先验，引入时间高频强调重建（THF）来增强神经渲染中的动态感知，将优化重点放在运动强度较大的部分。

论文在两个广泛使用的基准测试中进行了大量实验，证明了HFGS具有优秀的渲染质量。论文的代码将会公开。

最近在这个领域中，还有一些相关的研究，如：《Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes》、《DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation》等。