PoseAnimate: Zero-shot high fidelity pose controllable character animation

图像到视频（I2V）生成旨在从单个图像创建视频序列，需要与源图像具有高时序连贯性和视觉保真度。然而，现有方法存在角色外貌不一致和细节保留不足的问题。此外，它们需要大量的视频数据进行训练，这可能需要大量计算资源。为了解决这些限制，我们提出了PoseAnimate，一种新颖的零样本I2V框架，用于角色动画。PoseAnimate包含三个关键组件：1）姿势感知控制模块（PACM）将多样化的姿势信号纳入条件嵌入中，以保留角色独立内容并保持精确的动作对齐。2）双一致性注意力模块（DCAM）增强时间连贯性，保留角色身份和复杂的背景细节。3）掩码引导解耦模块（MGDM）通过解耦角色和背景来改善动画保真度，进一步提高特征感知的精度。我们还提出了一种姿势对齐过渡算法（PATA），以确保平滑的动作过渡。广泛的实验结果表明，我们的方法在角色一致性和细节保真度方面优于现有的基于训练的方法。此外，它在整个生成的动画中保持高水平的时序连贯性。

论文旨在解决从单张图片生成视频序列的问题，提高时序一致性和视觉保真度。现有方法存在角色外观不一致和细节保留不足的问题，并需要大量的视频数据进行训练，计算成本高。

论文提出了PoseAnimate，一种新的零样本I2V框架，用于角色动画。PoseAnimate包含三个关键组件：1）姿态感知控制模块（PACM），将多样化的姿态信号纳入条件嵌入，以保留角色独立内容并保持精确的动作对齐。2）双一致性注意力模块（DCAM），增强时序一致性，保留角色身份和复杂的背景细节。3）掩模引导解耦模块（MGDM），通过解耦角色和背景来改善动画保真度。此外，还提出了姿态对齐过渡算法（PATA），以确保平滑的动作过渡。

论文通过实验结果表明，与现有的基于训练的方法相比，PoseAnimate在角色一致性和细节保真度方面表现更好。此外，它在整个生成的动画中保持了高水平的时序一致性。

在这个领域中，最近的相关研究包括：1）Few-shot Video-to-Video Synthesis（ICCV 2021）；2）Few-shot Video-to-Video Synthesis with Meta-Learning（CVPR 2021）；3）Few-shot Video-to-Video Synthesis via Temporally Coherent Feature Transfer（CVPR 2020）等。