Relightable 3D Gaussian: Real-time Point Cloud Relighting with BRDF Decomposition and Ray Tracing

我们提出了一种新颖的可微分基于点的渲染框架，用于从多视角图像中分解材料和照明，实现对3D点云的编辑、光线追踪和实时重照。具体而言，一个3D场景被表示为一组可重照的3D高斯点，其中每个点还与法线方向、BRDF参数和来自不同方向的入射光相关联。为了实现强大的照明估计，我们进一步将每个点的入射光分为全局和局部组件，并考虑视角相关的可见性。通过3D高斯飞溅技术优化3D场景，通过基于物理的可微分渲染分解BRDF和照明。此外，我们还引入了一种基于边界体层次结构的创新点追踪方法，用于有效的可见性烘焙，实现了对具有精确阴影效果的3D高斯点的实时渲染和重照。广泛的实验表明，与最先进的材料估计方法相比，我们的框架展示了改进的BRDF估计和新颖的视角渲染结果。我们的框架展示了基于点云的可重照、可追踪和可编辑渲染管线在革命性方面的潜力。项目页面：https://nju-3dv.github.io/projects/Relightable3DGaussian/.

本论文试图解决从多视图图像中分解材料和光照的问题，从而实现编辑、光线追踪和实时重新照明的3D点云。

本论文的关键思路是使用可重照的3D高斯点表示3D场景，并将每个点进一步与法向量方向、BRDF参数和来自不同方向的入射光相关联。为了实现鲁棒的光照估计，进一步将每个点的入射光分为全局和局部组件，以及视角相关的可见性。通过基于3D高斯点散射技术的优化来优化3D场景，同时通过基于物理的可微分渲染来分解BRDF和光照。此外，引入了一种基于边界体层次结构的创新点基光线跟踪方法，用于有效的可见性烘焙，实现具有准确阴影效果的3D高斯点的实时渲染和重新照明。

本论文的亮点包括：使用可重照的3D高斯点表示3D场景，实现了从多视图图像中分解材料和光照的功能；引入了基于边界体层次结构的创新点基光线跟踪方法，实现了具有准确阴影效果的3D高斯点的实时渲染和重新照明；在实验中，论文展示了相比于现有的材料估计方法，本论文的BRDF估计和新视图渲染结果都有所提高。

最近在这个领域中，还有一些相关的研究，如：《Deep Reflectance Fields: High-quality Facial Reflectance Field Inference from Color Gradient Illumination》、《Neural Scene Graphs for Dynamic Scenes》等。