ScanTalk: 3D Talking Heads from Unregistered Scans

语音驱动的三维说话头部生成已成为研究人员感兴趣的重要领域，面临着许多挑战。现有的方法受到使用固定拓扑结构来动画化面部的限制，其中建立了点对点的对应关系，并且点的数量和顺序在模型可以动画化的所有身份中保持一致。在这项工作中，我们提出了ScanTalk，这是一个新颖的框架，能够动画化任意拓扑结构的三维面部数据，包括扫描数据。我们的方法依赖于DiffusionNet架构来克服固定拓扑结构的限制，为更灵活和逼真的三维动画提供了有前途的途径。通过利用DiffusionNet的能力，ScanTalk不仅适应各种面部结构，而且在处理扫描数据时也保持了保真度，从而增强了生成的三维说话头部的真实性和多样性。通过与最先进的方法进行全面比较，我们验证了我们方法的有效性，证明了其能够生成与现有技术相媲美的逼真说话头部。虽然我们的主要目标是开发一种无拓扑限制的通用方法，但所有最先进的方法都受到这种限制。我们将提供用于重现我们结果的代码和预训练模型。

ScanTalk论文旨在解决现有方法中固定拓扑结构的限制，提出一种可以在任意拓扑结构下生成3D动态头像的方法。

ScanTalk利用DiffusionNet架构来克服固定拓扑结构的限制，可以适应不同的面部结构并保持对扫描数据的保真度。

论文通过与现有技术的全面比较验证了ScanTalk的有效性，并展示了其生成逼真的3D动态头像的能力。论文提供了重现结果的代码和预训练模型。

在这个领域中，最近的相关研究包括：《Neural 3D Mesh Renderer》、《Deep Video Portraits》和《Learning to Reconstruct 3D Human Pose and Shape via Model-fitting in the Loop》等。