Gaussian Frosting: Editable Complex Radiance Fields with Real-Time Rendering

我们提出了高斯糖霜（Gaussian Frosting），这是一种新颖的基于网格的表示方法，可实时高质量地渲染和编辑复杂的三维效果。我们的方法建立在最近的三维高斯喷洒框架之上，该框架通过优化一组三维高斯函数来近似图像中的辐射场。我们建议在优化期间首先从高斯函数中提取基础网格，然后在网格周围建立和细化具有可变厚度的自适应高斯层，以更好地捕捉表面附近的细节和体积效果，例如头发或草。我们称这一层为高斯糖霜，因为它类似于蛋糕上的一层糖霜。材料越模糊，糖霜越厚。我们还引入了高斯函数的参数化，以强制它们保持在糖霜层内，并在变形、缩放、编辑或动画网格时自动调整它们的参数。我们的表示方法允许使用高斯喷洒进行高效渲染，同时通过修改基础网格进行编辑和动画处理。我们在各种合成和真实场景上展示了我们方法的有效性，并表明它优于现有的基于表面的方法。我们将发布我们的代码和基于Web的查看器作为额外的贡献。我们的项目页面如下：https://anttwo.github.io/frosting/

本论文旨在提出一种新的基于网格的表示方法，名为Gaussian Frosting，用于高质量渲染和编辑复杂的三维效果，并在实时中实现。

该方法通过在优化过程中从高斯函数中提取基础网格，然后在网格周围建立和细化一个自适应层的高斯函数，以更好地捕捉靠近表面的细节和体积效果，如头发或草。该方法还引入了高斯函数的参数化，以使其保持在糖霜层内，并在变形、缩放、编辑或动画网格时自动调整其参数。

该方法通过高斯函数的优化和参数化实现了高效的渲染、编辑和动画，可以处理复杂的三维效果。该论文还提供了开源代码和基于Web的查看器。实验结果表明，该方法优于现有的基于表面的方法。

在这个领域中，最近的相关研究包括基于深度学习的方法和基于表面的方法。其中，基于深度学习的方法包括DeepSDF和IM-NET，而基于表面的方法包括MeshCNN和Pixel2Mesh。