X-Portrait: Expressive Portrait Animation with Hierarchical Motion Attention

我们提出了X-Portrait，这是一种创新的条件扩散模型，专门用于生成富有表现力和时间上连贯的肖像动画。具体而言，我们以单个肖像作为外观参考，旨在使用从驾驶视频中提取的运动来为其添加动画效果，捕捉高度动态和微妙的面部表情以及广泛的头部运动。作为其核心，我们利用预先训练的扩散模型的生成先验作为渲染骨架，同时在ControlNet框架内使用新颖的控制信号实现细粒度的头部姿态和表情控制。与传统的粗略显式控制（如面部标记）相比，我们的运动控制模块学习直接从原始的驾驶RGB输入中解释动态。局部控制模块进一步增强了运动的准确性，有效地增强了对小尺度细微差异（如眼球位置）的运动关注。值得注意的是，为了减轻驾驶信号中的身份泄露，我们使用缩放增强的跨身份图像训练我们的运动控制模块，确保最大化与外观参考模块的解缠。实验结果表明，X-Portrait在各种面部肖像和富有表现力的驾驶序列中具有普遍的有效性，并展示了其在生成具有一致维持身份特征的迷人肖像动画方面的熟练程度。

该论文旨在解决单张人像照片生成动态表情的问题，通过使用控制信号和局部控制模块来实现细粒度的头部姿势和表情控制，同时减少动态信号中的身份泄漏。

该论文的关键思路是使用预训练扩散模型作为渲染骨架，并使用控制信号直接从原始驾驶RGB输入中解释动态，同时使用局部控制模块增强对小尺度细节的关注。

该论文提出了一种新颖的条件扩散模型，可以生成具有表情和头部姿态的动态人像。实验结果表明，该方法可以在多种数据集和表情序列上产生高质量的动态人像，并且具有良好的身份保护性能。

最近的相关研究包括：《Few-Shot Adversarial Learning of Realistic Neural Talking Head Models》和《Animating Face using First-order Motion Model》等。