DeferredGS: Decoupled and Editable Gaussian Splatting with Deferred Shading

重构和编辑三维对象和场景在计算机图形学和计算机视觉中都扮演着至关重要的角色。神经辐射场（NeRF）可以实现逼真的重构和编辑结果，但在渲染效率方面存在问题。高斯飞溅（Gaussian splatting）通过光栅化高斯椭圆体显著加速了渲染。然而，高斯飞溅使用单个球面谐波（SH）函数来模拟纹理和照明，限制了这些组件的独立编辑能力。最近，已经尝试使用高斯飞溅表示来分离纹理和照明，但在反射场景上可能无法产生合理的几何和分解结果。此外，它们采用的前向着色技术在重新照明时会引入明显的混合伪影，因为高斯的几何属性是在原始照明下优化的，可能不适合新的照明条件。为了解决这些问题，我们介绍了DeferredGS，一种使用延迟着色的方法来分离和编辑高斯飞溅表示。为了成功地分离，我们使用可学习的环境贴图来模拟照明，并在高斯上定义了额外的属性，如纹理参数和法线方向，其中法线是从联合训练的有符号距离函数中提取的。更重要的是，我们应用了延迟着色，与以前的方法相比，产生了更逼真的重新照明效果。定性和定量实验都证明了DeferredGS在新视图合成和编辑任务中的优越性能。

本文旨在解决神经辐射场（NeRFs）在渲染效率方面的不足，以及现有高斯喷洒方法无法独立编辑纹理和光照的问题。

本文提出了DeferredGS方法，使用延迟着色来解耦和编辑高斯喷洒表示法，同时模拟照明和纹理参数，并从共同训练的有符号距离函数中提取法线。

本文的亮点包括：使用Deferred shading产生更真实的重新照明效果，模拟照明和纹理参数，从共同训练的有符号距离函数中提取法线。实验结果表明，DeferredGS在新视角合成和编辑任务中表现优异。

最近的相关研究包括使用高斯喷洒表示法的纹理和光照解耦的尝试，以及前向着色技术产生的混合伪影问题。