SMCD: High Realism Motion Style Transfer via Mamba-based Diffusion

运动风格转移是多媒体应用中一个重要的研究方向。它可以让虚拟数字人物快速切换相同动作的不同风格，从而大大增加了动作的多样性和真实性。它广泛应用于电影、游戏和元宇宙等多媒体场景。然而，目前这个领域的大部分工作采用了GAN，可能会导致不稳定和收敛问题，使生成的动作序列有些混乱，无法反映高度逼真和自然的风格。为了解决这些问题，我们将风格运动视为条件，并首次提出了Style Motion Conditioned Diffusion（SMCD）框架，可以更全面地学习运动的风格特征。此外，我们首次将Mamba模型应用于运动风格转移领域，引入了Motion Style Mamba（MSM）模块来处理更长的运动序列。第三，针对SMCD框架，我们提出了基于扩散的内容一致性损失和内容一致性损失，以帮助整体框架的训练。最后，我们进行了广泛的实验。结果表明，我们的方法在定性和定量比较中均超过了最先进的方法，能够生成更逼真的运动序列。

论文旨在解决运动风格转移中GAN模型不稳定、收敛问题，导致生成的运动序列不够真实自然的问题。

论文提出了基于条件扩散的运动风格转移框架SMCD，通过引入Mamba模型和Diffusion-based Content Consistency Loss和Content Consistency Loss辅助训练，更全面地学习运动的风格特征，生成更真实自然的运动序列。

论文在实验中取得了优于当前领域最先进方法的结果，使用了自己构建的数据集，并开源了代码。

近期相关研究包括《Motion Style Transfer with Cascaded Adversarial Networks》、《Motion Style Transfer with Transformer》等。