Holo-Relighting: Controllable Volumetric Portrait Relighting from a Single Image

肖像摄影的核心在于寻找理想的光线和视角。这个过程通常需要摄影方面的高级知识和复杂的工作室设置。在这项工作中，我们提出了一种体积照明方法——全息照明（Holo-Relighting），它能够从单张图像中合成新的视角和新的光照。全息照明利用预训练的三维生成对抗网络（EG3D）从输入的肖像中重建几何和外观，生成一组三维感知特征。我们设计了一个基于给定光照的照明模块来处理这些特征，并预测一个经过照明处理的三维表示形式，即三面平面，通过体积渲染可以渲染到任意视角。除了视角和照明控制，全息照明还将头部姿势作为条件，以实现头部姿势相关的照明效果。通过这些新颖的设计，全息照明可以生成复杂的非兰伯特照明效果（如高光和投影阴影），而不需要使用任何明确的物理照明先验知识。我们使用光线舞台捕获的数据来训练全息照明，并提出了两种数据渲染技术来提高体积照明系统的数据质量。通过定量和定性实验，我们证明全息照明可以实现最先进的照明质量，并具有更好的照片真实性、三维一致性和可控性。

Holo-Relighting旨在解决肖像摄影中的理想照明和视角问题，提供一种从单张图像中合成新视角和新照明的体积照明方法。

Holo-Relighting利用预训练的3D GAN（EG3D）将输入肖像重建为一组3D感知特征，设计一个基于给定照明的照明模块来处理这些特征，并预测以三平面的形式呈现的重新照明的3D表示，可以通过体积渲染呈现到任意视角。此外，Holo-Relighting还以头部姿势为条件，实现了头部姿势相关的照明效果。

Holo-Relighting可以生成复杂的非Lambertian照明效果（例如镜面高光和投影阴影），而不使用任何显式的物理照明先验知识。论文使用了光场数据进行训练，并提出了两种数据渲染技术来提高体积照明系统的数据质量。通过定量和定性实验，证明了Holo-Relighting可以实现最先进的照明质量，具有更好的逼真度、3D一致性和可控性。

最近的相关研究包括：《Deep Reflectance Fields for View Synthesis》、《DIB-R: Differentiable Interpolation for Blending and Re-targeting of Multi-Resolution Neural Representations》、《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》等。