MotionLCM: Real-time Controllable Motion Generation via Latent Consistency Model

本文介绍了MotionLCM，将可控运动生成扩展到实时水平。现有的文本条件运动生成空间控制方法存在重大的运行时效率问题。为了解决这个问题，我们首先提出了运动潜在一致性模型（MotionLCM）用于运动生成，建立在潜在扩散模型（MLD）的基础上。通过采用一步（或几步）推断，我们进一步提高了运动潜在扩散模型的运行时效率。为了确保有效的可控性，在MotionLCM的潜在空间中加入了运动控制网络，并在香草运动空间中启用显式控制信号（例如骨盆轨迹）以直接控制生成过程，类似于控制其他无潜在扩散模型的运动生成。通过采用这些技术，我们的方法可以实时生成带有文本和控制信号的人体运动。实验结果证明了MotionLCM的显着生成和控制能力，同时保持了实时运行时效率。

本论文旨在解决文本条件下的运动生成中存在的运行时效率低的问题，提出了MotionLCM方法，使可控运动生成能够实时进行。

MotionLCM建立在潜在扩散模型（MLD）基础上，通过一步或几步推理进一步提高了运动潜在扩散模型的运行时效率。同时，在MotionLCM的潜在空间中引入运动控制网络，使得控制信号能够直接控制运动生成过程，从而保证了有效的可控性。

论文通过实验验证了MotionLCM方法在实时运动生成和控制方面的出色表现。使用了公开数据集，并开源了代码。值得进一步研究的是如何将MotionLCM方法应用于其他领域。

最近的相关研究包括：《Neural Body: Implicit Neural Representations with Structured Latent Codes for Novel View Synthesis of Dynamic Humans》、《Learning to Generate Time-Lapse Videos Using Multi-Stage Dynamic Generative Adversarial Networks》等。