Subsurface Scattering for 3D Gaussian Splatting

3D重建和衍射材料的物体的光照重构是一个巨大的挑战，因为表面下的光线传输非常复杂。3D高斯喷洒技术以实时速度引入了高质量的新视角合成。虽然3D高斯喷洒技术可以有效地逼近物体表面，但它们无法捕捉到物体的体积散射特性。我们提出了一个框架，通过多视角OLAT（一次一个光源）数据来优化物体的形状和辐射传输场。我们的方法将场景分解为一个显式表面，其由3D高斯曲面表示，并具有空间变化的BRDF，以及一个隐式的散射组件的体积表示。学习的入射光场考虑了阴影。我们通过光线追踪可微渲染来联合优化所有参数。我们的方法使材料编辑、光照重构和新视角合成实现交互速率。我们在合成数据上展示了成功的应用，并介绍了一个新获取的多视角多光源数据集，该数据集采用了光场设置。与以前的工作相比，我们在一小部分的优化和渲染时间内实现了可比或更好的结果，同时实现了对材料属性的详细控制。项目页面 https://sss.jdihlmann.com/

解决3D重建和重照问题中散射材料的复杂光传输问题，实现交互速率下的材料编辑、重照和新视角合成。

采用一种新的框架，通过优化物体的形状和辐射传递场，将场景分解为显式表面（用3D高斯函数表示）和隐式体积（表示散射组件），并通过可微分渲染进行联合优化。

论文在新数据集上进行了实验，证明了该方法在优化和渲染时间上具有可比性或更好的结果，并且能够详细控制材料属性。论文提供了项目页面和代码。

最近的相关研究包括：《Deep Scattering: Rendering Atmospheric Clouds with Radiance-Predicting Neural Networks》、《Deep Material Editing》、《Neural Volumes: Learning Dynamic Renderable Volumes from Images》等。