AniPortrait: Audio-Driven Synthesis of Photorealistic Portrait Animation

在这项研究中，我们提出了AniPortrait，这是一个新颖的框架，可通过音频和参考肖像图像生成高质量的动画。我们的方法分为两个阶段。首先，我们从音频中提取3D中间表示，并将其投影到一系列2D面部标志中。随后，我们采用强大的扩散模型，结合运动模块，将标志序列转换为逼真且时间一致的肖像动画。实验结果证明了AniPortrait在面部自然度、姿势多样性和视觉质量方面的优越性，从而提供了更好的感知体验。此外，我们的方法在灵活性和可控性方面具有相当大的潜力，可以有效应用于面部动作编辑或面部再现等领域。我们在https://github.com/scutzzj/AniPortrait发布了代码和模型权重。

论文提出了AniPortrait框架，旨在通过音频和参考肖像图像生成高质量的动画。该框架的目标是解决如何通过音频和图像信息生成高质量的动画的问题。

AniPortrait框架分为两个阶段，首先从音频中提取3D中间表示，并将其投影到一系列2D面部标记中。然后，使用强大的扩散模型和运动模块将标记序列转换为逼真且时间上连续的肖像动画。

该论文的实验结果表明，AniPortrait框架在面部自然性、姿势多样性和视觉质量方面具有卓越性能，提供了更好的感知体验。此外，该方法在灵活性和可控性方面具有相当大的潜力，可以有效地应用于面部动作编辑或面部再现等领域。作者在GitHub上公开了代码和模型权重。

最近的相关研究包括：1.《Deep Video Portrait》；2.《Talking Head Anime from a Single Image》；3.《Audio-Driven Facial Animation by Jointly Learning Speech Reconstruction and Motion Generation》。