Coherent 3D Portrait Video Reconstruction via Triplane Fusion

最近单张图像三维肖像重建取得了突破，使得遥控系统能够实时从单个摄像头流式传输三维肖像视频，潜在地实现了遥控技术的民主化。然而，逐帧三维重建存在时间上的不一致性，无法保留用户的外貌。另一方面，自我再现方法可以通过驱动个性化的三维先验来呈现连贯的三维肖像，但无法忠实地重建用户的逐帧外貌（例如面部表情和光照）。在这项工作中，我们认识到需要保持连贯的身份和动态的逐帧外貌，以实现最佳的真实感。为此，我们提出了一种新的融合方法，将个性化的三维主体先验与逐帧信息融合，产生具有时间稳定性的三维视频，忠实地重建用户的逐帧外貌。我们的基于编码器的方法仅使用由表情条件的三维GAN生成的合成数据进行训练，在工作室和野外数据集上实现了最先进的三维重建精度和时间一致性。

论文旨在解决单帧3D重建的时间不一致性和遗忘用户外貌的问题，提出一种基于融合的方法，同时保持身份的一致性和动态的每帧外貌，以实现最佳的真实感。

论文提出一种基于融合的方法，将个性化的3D先验与每帧信息融合，产生具有时态稳定性和用户外貌真实重建的3D视频。

论文使用表情条件3D GAN产生的合成数据进行训练，实现了仅基于合成数据的编码器方法，在工作室和野外数据集上实现了最先进的3D重建精度和时间一致性。

相关研究包括单帧3D重建、自我再现和基于融合的方法。其中一些论文包括《Deep Single Image Portrait Relighting》、《Deep Video Portraits》和《Coherent Reconstruction of Multiple Humans from a Single Image》等。