Artist-Friendly Relightable and Animatable Neural Heads

越来越常见的创建逼真数字化头像的方法是使用体积神经场。最初的神经辐射场（NeRF）在训练多视图图像集时，能够实现静态头部的令人印象深刻的新视角合成，后续方法表明这些神经表示可以扩展到动态头像。最近的新变体还克服了神经表示中烘焙照明的常见缺陷，表明静态神经头像可以在任何环境中重新照明。在这项工作中，我们同时解决了运动和照明问题，提出了一种新的可重新照明和可动画化的神经头部方法。我们的方法基于一种基于体积基元混合的经过验证的动态头像方法，结合最近提出的轻量级硬件设置用于重新照明神经场，并包括一种新的架构，允许在任何环境中重新照明执行未见过表情的动态神经头像，甚至在近距离照明和视角下。

本论文旨在解决如何同时处理动态头像的运动和光照问题，以实现可重构和可动画的神经头像。

该论文提出了一种新的架构，将基于体积的神经表示与轻量级硬件设置相结合，实现了动态神经头像的重构和动画，同时可以在任何环境中重新照明。

该论文的亮点包括使用混合体积基元的动态头像方法，结合轻量级硬件设置实现可重构的神经场，以及新的架构允许在任何环境中重新照明动态神经头像。

最近的相关研究包括NeRF和其他基于神经场的头像重构方法，以及在动态头像方面的其他研究，如Deep Video Portraits和AvatarNet。