A Comprehensive Taxonomy and Analysis of Talking Head Synthesis: Techniques for Portrait Generation, Driving Mechanisms, and Editing

最近，随着变形器和扩散模型等新模型的引入，通过特定内容驱动静态图像生成肖像视频的高级方法“Talking head synthesis”已经在虚拟现实、增强现实和游戏制作中引起了广泛关注。目前的方法不仅可以生成新内容，还可以编辑生成的材料。本文系统地回顾了这项技术，并将其分为三个关键领域：肖像生成、驱动机制和编辑技术。我们总结了具有里程碑意义的研究，并在每个领域内对其创新和缺陷进行了批判性分析。此外，我们组织了大量数据集，并基于各种评估指标对当前方法进行了全面的性能分析，旨在为未来的研究提供清晰的框架和强大的数据支持。最后，我们探讨了Talking head synthesis的应用场景，用具体案例进行了说明，并考察了潜在的未来方向。

这篇论文旨在系统地回顾最新的“Talking Head Synthesis”技术，将其分为三个关键领域：肖像生成、驱动机制和编辑技术，并提供了广泛的数据集和性能分析。

该论文提出了新的模型，如Transformer和Diffusion Model，这些模型不仅能够生成新的内容，而且还能够编辑生成的材料。

该论文系统地回顾了最新的Talking Head Synthesis技术，提供了广泛的数据集和性能分析，还探讨了该技术的应用场景。论文提出的新模型具有创新性，可以生成新的内容并编辑生成的材料，这些都是值得关注的亮点。

最近在这个领域中，还有一些相关的研究，如：1）“Few-Shot Adversarial Learning of Realistic Neural Talking Head Models”；2）“Few-Shot Video-to-Video Synthesis”；3）“Few-Shot Face Translation GAN”等。