MotionDreamer: Zero-Shot 3D Mesh Animation from Video Diffusion Models

动画技术可以将数字三维世界和角色栩栩如生地展现出来。然而，手动动画制作过程繁琐，自动化技术通常只适用于狭窄的形状类别。在我们的工作中，我们提出了一种基于从视频扩散模型中提取的运动先验的任意3D形状自动重新动画化的技术。与现有的4D生成方法不同，我们仅关注运动，并利用与现有计算机图形管道兼容的显式基于网格的表示。此外，我们利用扩散特征增强了我们的运动拟合的准确性。我们分析了这些特征在动画拟合中的有效性，并在四个动画模型中对两个不同的扩散模型的方法进行了实验验证。最后，我们展示了我们的高效零样本方法在用户研究中与现有技术相比，在重新动画化各种3D形状方面取得了更优异的性能。该项目网站位于https://lukas.uzolas.com/MotionDreamer。

本论文旨在提出一种基于视频扩散模型提取的运动先验的任意3D形状的自动重建技术，以解决手动动画繁琐、自动化技术过于专业化的问题。

本论文的关键思路是基于视频扩散模型提取运动先验，并使用网格表示法进行动画生成，同时利用扩散特征提高运动拟合的精度。

本论文的亮点在于使用了扩散特征提高运动拟合的精度，实验验证了该方法在不同的扩散模型和动画模型上的有效性，并通过用户研究证明了该方法相对于现有技术的优越性。该项目还提供了开源代码。

近期的相关研究包括："Deep Mimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills"，"Learning to Dress 3D People in Generative Clothing"等。