Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation

角色动画旨在通过驱动信号从静态图像生成角色视频。目前，扩散模型已成为视觉生成研究的主流，因为它们具有强大的生成能力。然而，在图像到视频的领域，特别是在角色动画中，仍存在挑战，其中保持与角色详细信息的时间一致性仍然是一个巨大的问题。在本文中，我们利用扩散模型的能力，提出了一个专门针对角色动画的新框架。为了保持参考图像中复杂外观特征的一致性，我们设计了ReferenceNet来通过空间注意力合并详细特征。为了确保可控性和连续性，我们引入了一个高效的姿势指南者来指导角色的动作，并采用有效的时间建模方法来确保视频帧之间的平滑过渡。通过扩展训练数据，我们的方法可以为任意角色进行动画制作，相比其他图像到视频方法，在角色动画方面取得了优越的结果。此外，我们在时尚视频和人类舞蹈合成的基准测试中评估了我们的方法，取得了最新的结果。

本论文旨在解决图像到视频的转换中，特别是在角色动画中，如何保持细节信息的一致性的问题。

论文提出了一种基于扩散模型的新框架，通过引入ReferenceNet来合并细节特征，使用有效的姿势指导器来指导角色的动作，并采用有效的时间建模方法来确保视频帧之间的平滑过渡。

论文的亮点包括ReferenceNet的设计、姿势指导器的引入和时间建模方法的使用，实验中使用了时尚视频和人类舞蹈合成数据集，并取得了最先进的结果。

最近的相关研究包括图像到视频生成领域的扩散模型，以及角色动画中的姿势控制技术。