VOODOO XP: Expressive One-Shot Head Reenactment for VR Telepresence

我们介绍了VOODOO XP：一种3D感知的单次拍摄头部再现方法，可以从任何输入驱动视频和单个2D肖像中生成高度表现力的面部表情。我们的解决方案是实时的，视角一致的，并且可以立即使用，无需校准或微调。我们展示了我们的解决方案在单目视频设置和端到端的VR远程呈现系统中的应用，用于双向通信。与2D头部再现方法相比，3D感知方法旨在保留主体的身份，并确保新摄像机姿势下的视角一致面部几何形状，这使它们适用于沉浸式应用。虽然引入了各种面部解缠技术，但最先进的3D感知神经再现技术仍缺乏表现力，并且无法再现复杂和细微的面部表情。我们提出了一种新颖的交叉再现架构，可以直接将驱动程序的面部表情转移到输入源的3D升降模块的变压器块中。我们展示了使用创新的多阶段自我监督方法可以实现高效的解缠，该方法基于粗略到精细的策略，结合在初始训练阶段进行明确的面部中性化和3D提升正面化。我们进一步将我们的新型头部再现解决方案集成到易于访问的高保真度VR远程呈现系统中，任何人都可以即时从任何照片中构建个性化的神经头像，并使用头戴式显示器将其带到生活中。我们展示了在大量不同主体和捕获条件下的表现力和相似性保留方面的最先进性能。

本论文旨在解决面部重现技术中表情不够生动、缺乏3D感知的问题，提出了一种基于3D感知的一次性头部重现方法，可以从任何输入驱动视频和单个2D肖像中生成高度表现力的面部表情。

本论文提出的解决方案是一种基于交叉重现架构的头部重现方法，可以直接将驱动器的面部表情转移到输入源的3D模块的变压器块中，通过创新的多阶段自监督方法实现高效的解缠，包括粗到细的策略、明确的面部中性化和3D提升正面化。

本论文的亮点包括实时性、视角一致性、无需校准或微调即可立即使用、高度表现力、身份保护性和适用于沉浸式应用。实验结果表明，在大量不同主体和拍摄条件下，本文的方法表现出了最先进的表现力和相似性保持。

最近在这个领域中，还有一些相关的研究，如《Deep Video Portraits》、《Neural Voice Puppetry: Audio-driven Facial Reenactment》等。