MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model

本文研究了人物图像动画任务，旨在生成一个特定参考身份的视频，该视频遵循特定的动作序列。现有的动画作品通常采用帧变形技术将参考图像动画到目标运动。尽管取得了合理的结果，但由于缺乏时间建模和参考身份保护不足，这些方法在整个动画过程中保持时间一致性面临挑战。在本文中，我们介绍了MagicAnimate，这是一个基于扩散的框架，旨在增强时间一致性，忠实地保留参考图像，并提高动画保真度。为了实现这一目标，我们首先开发了一个视频扩散模型来编码时间信息。其次，为了在帧之间保持外观一致性，我们引入了一种新颖的外观编码器来保留参考图像的复杂细节。利用这两个创新，我们进一步采用简单的视频融合技术，以鼓励长视频动画的平滑过渡。实证结果表明，我们的方法在两个基准测试中优于基线方法。值得注意的是，我们的方法在具有挑战性的TikTok舞蹈数据集上的视频保真度方面比最强的基线方法提高了38％以上。代码和模型将提供。

本论文旨在解决人物图像动画任务中的时间一致性和参考身份保留问题。这是否是一个新问题？

MagicAnimate是一种基于扩散的框架，旨在通过视频扩散模型和外观编码器来提高时间一致性，保留参考图像，并提高动画保真度。这种方法如何与当前领域的研究状况相比有所创新？

本论文的亮点在于其使用的MagicAnimate框架，该框架能够有效地提高时间一致性、保留参考图像和提高动画保真度。论文还使用了两个基准数据集进行实验，并在TikTok跳舞数据集上取得了比最强基线高38％的结果。作者表示，他们将提供代码和模型。

在这个领域最近的相关研究包括使用深度学习方法生成人物动画的研究，如“Deep Video Portraits”和“Everybody Dance Now”。