TalkingGaussian: Structure-Persistent 3D Talking Head Synthesis via Gaussian Splatting

Radiance fields已经展示出在合成逼真的3D说话头像方面的出色性能。然而，由于难以适应陡峭的外观变化，目前的范例是通过直接修改点外观来呈现面部运动，这可能会导致动态区域出现扭曲。为了解决这个挑战，我们介绍了TalkingGaussian，这是一个基于变形的radiance fields框架，用于高保真说话头像合成。利用基于点的高斯喷洒技术，我们的方法可以通过对持久的高斯基元应用平滑和连续的变形来表示面部运动，而不需要像以前的方法那样学习困难的外观变化。由于这种简化，可以合成精确的面部运动，同时保持高度完整的面部特征。在这种变形范例下，我们进一步确定了面部和口内运动不一致的问题，这会影响到详细说话运动的学习。为了解决这个冲突，我们将模型分解为两个分支，分别用于面部和口腔内部区域，从而简化学习任务，帮助重建更准确的口腔区域运动和结构。广泛的实验表明，与以前的方法相比，我们的方法呈现出高质量的唇同步说话头像视频，具有更好的面部保真度和更高的效率。

论文旨在解决高保真度3D说话头部合成中的外观变化问题，提出了一种基于变形的辐射场框架，以更精确地合成面部动作。

论文提出了一种基于点的高斯喷洒技术的变形方法，将面部动作表示为对持久高斯基元的平滑连续变形，从而避免了学习外观变化的困难，同时通过将模型分解成面部和内部口腔区域的两个分支来解决面部-口腔运动不一致的问题。

论文使用了点云数据集和人工动画数据集进行实验，并与其他方法进行了比较。实验结果表明，该方法可以渲染出高质量的唇同步说话头部视频，与以前的方法相比，面部保真度更高、效率更高。

与此相关的研究包括Deep Video Portraits、Neural Voice Puppetry和Neural Talking Head Models等。