GaussianShader: 3D Gaussian Splatting with Shading Functions for Reflective Surfaces

最近，神经网络高斯函数的出现在神经渲染领域引起了一场革命，使得高质量渲染以实时速度生成成为可能。然而，当应用于具有反射表面的场景时，显式和离散表示会遇到挑战。在本文中，我们提出了一种名为GaussianShader的新方法，它在三维高斯函数上应用简化的着色函数，以增强具有反射表面的场景中的神经渲染效果，同时保持训练和渲染效率。应用着色函数的主要挑战在于对离散三维高斯函数进行准确的法线估计。具体来说，我们提出了一种基于三维高斯函数最短轴方向的法线估计框架，并设计了一个精心设计的损失函数，以使法线与高斯球的几何形状一致。实验表明，GaussianShader在效率和视觉质量之间取得了可观的平衡。我们的方法在PSNR上超过了Gaussian Splatting，展现了1.57dB的提高。与处理反射表面的先前工作（例如Ref-NeRF）相比，我们的优化时间显著加快（23h vs. 0.58h）。请点击我们的项目网站以查看更多结果。

论文旨在解决神经渲染中对于具有反射表面的场景的渲染问题，尤其是针对离散的3D高斯模型的渲染。

GaussianShader是一种新的方法，它在3D高斯模型上应用简化的着色函数，以增强具有反射表面的场景的神经渲染，并保持训练和渲染效率。该方法的关键思路是基于3D高斯模型的最短轴方向提出了一种新的法线估计框架，并设计了一个细致的损失函数，以使法线和高斯球的几何形状保持一致。

论文的实验结果表明，GaussianShader在效率和视觉质量之间取得了良好的平衡。与Gaussian Splatting相比，GaussianShader在具有反射表面的对象数据集上的PSNR值优于前者1.57dB。与Ref-NeRF等处理具有反射表面的先前工作相比，我们的优化时间显著加快（23h vs. 0.58h）。

最近的相关研究包括Ref-NeRF、Gaussian Splatting等。