OmniControl: Control Any Joint at Any Time for Human Motion Generation

我们提出了一种新颖的方法，名为OmniControl，它可以将灵活的空间控制信号纳入基于扩散过程的文本条件人体运动生成模型中。与之前只能控制骨盆轨迹的方法不同，OmniControl可以在一个模型中在不同时间的不同关节上纳入灵活的空间控制信号。具体来说，我们提出了分析空间引导，以确保生成的运动能够紧密地符合输入的控制信号。同时，引入了真实性引导，以调整所有关节，生成更加连贯的运动。空间引导和真实性引导都是必不可少的，它们高度互补，平衡了控制精度和运动真实性。通过结合它们，OmniControl生成的运动既真实又连贯，并符合空间约束。在HumanML3D和KIT-ML数据集上的实验表明，OmniControl不仅在骨盆控制方面取得了显著的改进，而且在纳入其他关节的约束时也显示出良好的效果。

OmniControl试图解决在文本条件下生成人体动作时，如何灵活地控制多个关节的问题。这是一个新问题。

OmniControl提出了一种分析空间引导和现实引导相结合的方法，以确保生成的动作可以紧密地符合输入的控制信号，同时生成更连贯的动作。

OmniControl在人体动作生成中可以控制多个关节，比现有方法更加灵活。实验表明，OmniControl不仅在骨盆控制方面表现出色，而且在其他关节的约束方面也表现出色。研究使用了HumanML3D和KIT-ML数据集，并且开源了代码。

该领域的相关研究包括：《Diffusion Models Beat GANs on Few-shot Action Recognition Tasks》、《Learning to Generate Time-Lapse Videos Using Multi-Stage Dynamic Generative Adversarial Networks》等。