3D Gaussian Splatting with Deferred Reflection

神经网络和基于高斯光辐射场的方法的出现在新视角合成领域取得了巨大成功。然而，镜面反射仍然很棘手，因为高频光辐射场难以稳定和准确地拟合。我们提出了一种延迟着色方法，用高斯扩散有效地渲染镜面反射。关键挑战来自于环境映射反射模型，需要准确的表面法向量，同时法向量估计受到不连续梯度的瓶颈限制。我们利用延迟着色生成的每像素反射梯度来连接相邻高斯优化过程，允许几乎正确的法向量逐渐传播并最终传遍所有反射物体。我们的方法在合成高质量镜面反射效果方面显著优于最先进的技术和同时进行的工作，在合成和真实场景的峰值信噪比（PSNR）方面表现出一致的改进，同时运行速度几乎与基本的高斯扩散相同。

解决问题：论文旨在通过提出一种新的方法，解决高频率辐射场稳定准确拟合的问题，以实现高质量的镜面反射效果。

关键思路：论文提出了一种延迟着色方法，利用高斯平铺来有效地渲染镜面反射。通过利用延迟着色生成的每像素反射梯度来优化相邻高斯函数的过程，从而实现准确的表面法线估计，并逐渐传播并最终覆盖所有反射物体。

其他亮点：该方法在合成和实际场景中都显著优于现有技术和并发工作，表现出一致的峰值信噪比（PSNR）提高，并以几乎相同的帧速率运行。实验使用了哪些数据集和开源代码，需要进一步研究。

相关研究：最近的相关研究包括neural和Gaussian-based radiance field methods等。