Mani-GS: Gaussian Splatting Manipulation with Triangular Mesh

本文讨论了神经3D表示（如Neural Radiance Fields）在生成逼真渲染结果方面的优势，但在内容创建中缺乏灵活性以进行操作和编辑。先前的工作尝试通过在规范空间中变形NeRF或基于显式网格操纵辐射场来解决这个问题。然而，操纵NeRF不太可控，需要长时间的训练和推理时间。随着3D高斯喷洒（3DGS）的出现，可以使用显式基于点的3D表示实现极高保真度的新视图合成，训练和渲染速度更快。然而，仍然缺乏有效的手段来自由操纵3DGS并保持渲染质量。本文旨在解决实现可操作的逼真渲染的挑战。我们提出利用三角形网格直接进行3DGS的自适应操纵。这种方法减少了为不同类型的高斯操纵设计各种算法的需求。通过利用三角形形状感知高斯绑定和自适应方法，我们可以实现3DGS的操纵并在操纵后保持高保真度的渲染。我们的方法能够处理大变形、局部操纵和软体模拟，同时保持高质量的渲染。此外，我们证明了我们的方法对从3DGS提取的不准确网格也是有效的。实验表明了我们的方法的有效性以及其优于基线方法的优越性。

论文旨在解决Neural Radiance Fields (NeRF)和3D Gaussian Splatting (3DGS)这两种神经网络模型在图像编辑和渲染方面的不足，提出一种新的方法来实现可控制的高保真度渲染。

论文提出使用三角网格来直接操纵3DGS，通过自适应的方法实现三角形形状感知的高斯绑定，实现3DGS的操纵并保持高保真度渲染。

论文实现了可控制的高保真度渲染，并且能够处理大形变、局部操纵和软体模拟等。实验结果表明该方法优于基准方法。

相关研究包括使用NeRF和3DGS进行图像合成的研究，以及使用三角网格进行形状操纵的研究。