Mesh-based Gaussian Splatting for Real-time Large-scale Deformation

神经隐式表示法，包括神经距离场和神经辐射场，已经展示出在重建具有复杂几何和拓扑结构的表面以及生成场景的新视角方面具有重要的能力。然而，用户直接以实时方式进行大形变的变形或操作是具有挑战性的。高斯喷洒（GS）最近已成为一种具有显式几何的有前途的方法，用于表示静态场景并促进高质量和实时合成新视角。然而，由于使用离散高斯和缺乏显式拓扑结构，它不能轻松变形。为了解决这个问题，我们开发了一种新的基于GS的方法，可以进行交互式变形。我们的关键思想是设计一种创新的基于网格的GS表示法，它被集成到高斯学习和操作中。3D高斯定义在显式网格上，并且它们彼此绑定：3D高斯的渲染指导网格面的分裂进行自适应细化，而网格面的分裂则指导3D高斯的分裂。此外，显式网格约束有助于规范高斯分布，抑制质量差的高斯（例如，错位的高斯，长而窄的高斯），从而增强视觉质量并避免变形过程中的伪影。基于这种表示法，我们进一步引入了一种大规模高斯变形技术，以实现可变形的GS，该技术根据相关网格的操作来改变3D高斯的参数。我们的方法受益于现有的网格变形数据集，以实现更真实的数据驱动高斯变形。广泛的实验表明，我们的方法实现了高质量的重建和有效的变形，同时保持了高帧率（平均65 FPS）的有前途的渲染结果。

本论文旨在解决目前高质量实时渲染中，用户无法直接进行大变形或操作的问题，通过开发一种新的基于高斯飞溅的网格表示法，实现了交互式变形。

论文的关键思路是将高斯分布定义在显式网格上，通过网格面分裂的自适应细化来引导3D高斯渲染，并通过网格面分裂来指导3D高斯的分裂，从而实现高质量的实时渲染和变形。

论文提出的方法可以实现高质量的重建和有效的变形，并在高帧率（平均65 FPS）下保持良好的渲染结果。文中还提出了大规模高斯变形技术，使用现有的网格变形数据集进行数据驱动的高斯变形。此外，该方法还通过显式网格约束来规范高斯分布，从而提高了视觉质量并避免了变形过程中的伪影。

在这个领域中，最近的相关研究包括Neural Distance Fields和Neural Radiance Fields等神经隐式表示方法，以及高斯飞溅等显式几何表示方法。