Follow-Your-Pose v2: Multiple-Condition Guided Character Image Animation for Stable Pose Control

本文提出了一个实用且强健的框架 Follow-Your-Pose v2，可以在互联网上随处可得的嘈杂视频上进行训练。该框架设计了多条件指导器，以解决背景稳定性、多角色生成中的身体遮挡和角色外观的一致性等挑战。此外，为了填补多角色姿势动画公平评估的空白，我们提出了一个新的基准，包含约 4,000 帧。广泛的实验表明，我们的方法在 2 个数据集和 7 个指标上的表现优于现有最先进的方法超过 35\%。与此同时，定性评估显示出生成的视频质量有了显著的提高，特别是在涉及复杂背景和多角色身体遮挡的情况下，表明我们的方法的优越性。该技术具有广泛的应用前景，可应用于自动广告和社交媒体平台上的内容创作等领域。

解决问题：论文提出了一个实用且强大的框架 Follow-Your-Pose v2，旨在解决角色图像动画生成中存在的复杂场景下动画不连贯，需要大规模高质量视频作为训练数据集等问题。

关键思路：论文提出了多条件指导器的设计，以解决背景稳定性、多角色生成中的身体遮挡以及角色外观的一致性等挑战。同时，该框架可以在互联网上轻松获取的嘈杂开源视频上进行训练，填补了多角色姿势动画公平评估的空白。

其他亮点：论文提出了一个新的基准测试，包含约4000帧，以公平评估多角色姿势动画。实验结果表明，该方法在两个数据集上的7个指标上优于现有方法超过35％。此外，该方法在复杂背景和多角色身体遮挡等场景中的生成视频质量得到了显着提高。该论文的代码和数据集均已公开。

相关研究：最近在该领域中，还有一些相关研究，如“Everybody Dance Now”和“Deep Video Portraits”等。