Relighting Scenes with Object Insertions in Neural Radiance Fields

我们提出了一种新颖的基于NeRF的流程，用于将物体NeRF插入场景NeRF中，从而实现新颖的视角综合和逼真的重新照明，并支持物理交互，例如相互投射阴影，从描述物体和场景的两组图像中。照明环境采用球谐和球高斯的混合表示，非常好地表示了高频和低频照明组件，并支持非兰伯特表面。具体而言，我们利用体积渲染的优势，并通过比较相机视图和光源视图之间的深度图并生成生动的柔和阴影，引入了一种高效的阴影渲染方法。在广泛的实验评估中，所提出的方法实现了逼真的重新照明效果。

论文提出了一个新的方法，旨在解决AR中插入虚拟物体和重新照明的问题。

论文提出了一种基于NeRF的方法，将物体NeRF插入场景NeRF中，从而实现新视角合成和逼真的重新照明。采用了Spherical Harmonics和Spherical Gaussians的混合表示来表示照明环境，支持非Lambertian表面。

论文采用体积渲染的优点，通过比较相机视角和光源视角之间的深度图来生成逼真的软阴影。在广泛的实验评估中，该方法实现了逼真的重新照明效果。

最近的相关研究包括'NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis'，'DeepVoxels: Learning Persistent 3D Feature Embeddings'，'GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis'等。