Bridging 3D Gaussian and Mesh for Freeview Video Rendering

这只是GauMesh的预览版。最近，基于基元的渲染已被证明可以在从2D图像建模和渲染3D动态场景的问题上取得令人信服的结果。尽管如此，在新视角合成的情况下，每种基元在表示能力方面都具有其固有的缺陷。利用网格来描述模糊几何形状是困难的。同时，点基础点喷洒（例如3D高斯喷洒）方法通常会在具有平滑几何形状和清晰纹理的区域产生伪影或模糊像素。因此，使用单一类型的基元来表示复杂的动态场景是困难的，甚至是不可能的。为此，我们提出了一种新的方法，GauMesh，用于建模和渲染动态场景的3D高斯和网格之间的桥梁。给定一系列跟踪的网格作为初始化，我们的目标是同时优化网格几何、颜色纹理、不透明度映射、一组3D高斯和变形场。在特定的时间点，我们基于从网格和3D高斯光栅化合并和重新排序的z缓冲区执行α混合RGB和不透明度值。这产生了最终的渲染，由地面真实图像监督。实验表明，我们的方法适应了适当的基元类型来表示动态场景的不同部分，并在定量和定性比较中优于所有基线方法，而不失去渲染速度。

论文试图通过提出一种新的方法GauMesh来解决在3D动态场景建模和渲染中使用单一类型基元所带来的困难和不足。

GauMesh方法将3D高斯和网格相结合，通过同时优化网格几何、色彩纹理、不透明度贴图、一组3D高斯和变形场来建模和渲染动态场景，并且在特定时间进行RGB和不透明度值的alpha混合，从而产生最终的渲染结果。

论文的亮点在于提出了一种新的方法GauMesh来解决3D动态场景建模和渲染中的问题，并且在实验中展现了该方法的优越性，同时没有损失渲染速度。实验使用了多个数据集，并且提供了开源代码。

最近在这个领域中，还有相关研究如DeepSDF, Neural Volumes等。