MAS: Multi-view Ancestral Sampling for 3D motion generation using 2D diffusion

我们介绍了一种名为Multi-view Ancestral Sampling (MAS)的方法，用于生成3D运动，该方法使用从野外视频中获取的运动训练的2D扩散模型。因此，MAS为以前未被充分探索的激动人心和多样化的运动领域提供了机会，因为3D数据很少且难以收集。MAS通过同时去噪多个表示同一3D运动的2D运动序列来工作。它通过将单个生成结果组合成统一的3D序列，并将其投影回原始视图，在每个扩散步骤中确保所有视图的一致性。我们在描绘职业篮球动作、特技体操表演和赛马的视频中使用2D姿势数据演示了MAS。在这些领域中，3D运动捕捉是困难的，然而，MAS生成了多样化和逼真的3D序列。与Score Distillation方法不同，后者通过反复应用小修复来优化每个样本，我们的方法使用了为扩散框架构建的采样过程。正如我们所演示的那样，MAS避免了常见的问题，例如超出域采样和模式崩溃。

该论文旨在解决在3D运动生成中缺乏数据的问题，提出了一种使用2D扩散模型的多视角祖先采样方法(MAS)。它可以从野外视频中获取运动数据，为之前未被充分探索的运动领域提供了机会。

该方法通过同时去噪多个表示同一3D运动的2D运动序列来工作。在每个扩散步骤中，它通过将单个生成组合成统一的3D序列，并将其投影回原始视图，以确保所有视图之间的一致性。相比于Score Distillation方法，该方法使用了扩散框架的采样过程，避免了常见的问题，如域外采样和模式崩溃。

该论文在篮球、体操和马术等领域展示了MAS的应用，证明了该方法可以生成多样化和逼真的3D序列。此外，该论文还提供了数据集和开源代码。

最近的相关研究包括：《Score-Based Generative Modeling through Stochastic Differential Equations》、《Diffusion Models Beat GANs on Image Synthesis》等。