Laughing Matters: Introducing Laughing-Face Generation using Diffusion Models

解决问题：本篇论文旨在解决语音驱动动画中的一项新问题，即如何生成逼真的笑声序列。

关键思路：本论文提出了一种基于扩散模型的新方法，通过训练模型生成逼真的笑声视频。相比现有的基于语音驱动的方法，该方法在所有指标上均取得了最先进的性能，即使这些指标是针对笑声重新训练的。

其他亮点：本文的亮点在于使用了一个专门为笑声设计的评估指标，并在多个不同的笑声数据集上进行了训练。此外，该论文还介绍了传统面部动画方法的失败案例，并利用扩散模型的最新进展来生成令人信服的笑声视频。

关于作者：本文的主要作者来自不同机构，包括Antoni Bigata Casademunt、Rodrigo Mira、Nikita Drobyshev、Konstantinos Vougioukas、Stavros Petridis和Maja Pantic。他们之前的代表作包括面部表情识别、语音驱动动画和计算机视觉等领域的研究。

相关研究：近期其他相关的研究包括“Speech-Driven Facial Animation with Generative Adversarial Networks”（作者：Jin et al.，机构：南洋理工大学）和“Facial Animation with Multi-Level Generative Adversarial Networks”（作者：Wu et al.，机构：清华大学）。这些研究都探索了语音驱动动画的不同方面，并使用了不同的生成对抗网络模型来实现。

论文摘要：笑点重要性：引入使用扩散模型生成笑脸的方法 作者：Antoni Bigata Casademunt, Rodrigo Mira, Nikita Drobyshev, Konstantinos Vougioukas, Stavros Petridis, Maja Pantic 近年来，基于语音的动画已经取得了显著的进展，目前的方法可以实现接近照片般的效果。然而，尽管有证据表明非语言交流在人际互动中非常重要，但该领域仍未得到充分探索。特别是，生成笑声序列是一项独特的挑战，因为这种行为非常复杂微妙。本文旨在通过提出一种新的模型，能够在给定静态肖像和包含笑声的音频剪辑的情况下生成逼真的笑声序列，以弥补这一空白。我们突出了传统面部动画方法的失败案例，并利用最近在扩散模型方面的进展来生成令人信服的笑声视频。我们在各种笑声数据集上训练我们的模型，并引入了一个专门针对笑声设计的评估指标。与以前的基于语音的方法相比，我们的模型在所有指标上都实现了最先进的性能，即使这些指标是针对笑声重新训练的。

内容中包含的图片若涉及版权问题，请及时与我们联系删除