EchoMimicV2: Towards Striking, Simplified, and Semi-Body Human Animation

近期关于人体动画的研究通常涉及音频、姿态或动作图条件，从而实现生动的动画效果。然而，这些方法往往由于额外的控制条件、繁琐的条件注入模块或仅限于头部区域驱动而面临实际挑战。因此，我们提出是否可以在简化不必要的条件的同时，实现引人注目的半身人体动画。为此，我们提出了一种名为EchoMimicV2的半身人体动画方法，该方法采用了一种新颖的音频-姿态动态协调策略，包括姿态采样和音频扩散，以增强半身细节、面部和手势表达力，同时减少条件冗余。为了弥补半身数据的稀缺，我们利用头部局部注意力机制将头部特写数据无缝融入我们的训练框架，这在推理过程中可以省略，为动画提供了一种免费的增益。此外，我们设计了阶段特定去噪损失，分别在特定阶段引导动画的运动、细节和低级质量。此外，我们还提出了一个新的基准测试，用于评估半身人体动画的效果。大量的实验和分析表明，EchoMimicV2在定量和定性评估中均超越了现有方法。

该论文旨在解决现有半身人类动画方法中存在的条件冗余、模块繁琐及主要局限于头部驱动的问题，提出一种简化条件同时保持高质量动画效果的方法。

论文提出了EchoMimicV2方法，通过Audio-Pose Dynamic Harmonization策略，包括Pose Sampling和Audio Diffusion技术，来增强半身细节、面部和手势表达性，并减少不必要的条件。此外，引入Head Partial Attention机制，以利用头部特写数据训练模型，而在推理时可忽略这部分，从而提供‘免费午餐’式的动画生成。

1. 设计了Phase-specific Denoising Loss，用于指导特定阶段的运动、细节和低级质量；2. 提出了一个新的基准测试，以评估半身人类动画的有效性；3. 实验结果表明，EchoMimicV2在定量和定性评价上均优于现有方法；4. 论文提供了详细的实验设计和分析，使用了多种数据集，并可能有开源代码。

近期相关研究包括：1. 'Audio-Driven Facial Animation with Generative Adversarial Networks'，利用GAN生成音频驱动的面部动画；2. 'Learning to Generate Human Motion from Audio'，探索从音频生成人体运动的可能性；3. 'Multi-Modal Human Motion Generation with Conditional VAEs'，采用条件变分自编码器生成多模态人类运动。