CG-HOI: Contact-Guided 3D Human-Object Interaction Generation

我们提出了CG-HOI，这是第一个解决从文本生成动态3D人物-物体交互（HOI）的方法。我们以相互依存的方式建模人类和物体的运动，因为语义丰富的人类运动很少在没有任何交互的情况下发生。我们的关键洞察是，明确地建模人体表面和物体几何之间的接触可以在训练和推理过程中用作强大的代理指导。利用这种指导来桥接人类和物体运动可以生成更加逼真和物理上合理的交互序列，其中人体和相应的物体以一致的方式移动。我们的方法首先学习联合扩散过程中的人类运动、物体运动和接触，通过交叉注意力相互关联。然后，在推理合成逼真、连贯的HOI时，我们利用这种学习到的接触进行指导。广泛的评估表明，我们的基于接触的人物-物体交互方法生成了逼真且物理上合理的序列，并展示了两个应用程序，突显了我们方法的能力。在给定物体轨迹的条件下，我们可以生成相应的人类运动而无需重新训练，展示了强大的人物-物体相互依存学习。我们的方法也是灵活的，并且可以应用于静态的现实世界3D场景扫描。

CG-HOI的目标是解决从文本生成动态3D人-物交互的问题。这是否是一个新问题？

CG-HOI的关键思路是在联合扩散过程中建模人体运动、物体运动和接触，并通过交叉注意力相互关联。使用模型学习的接触来指导推理合成现实、连贯的HOIs。

论文的实验结果表明，CG-HOI生成的动态3D人-物交互序列是现实和物理上可行的。CG-HOI还具有灵活性，并可应用于静态的真实世界3D场景扫描。论文使用了公开数据集，并且提供了代码。

最近的相关研究包括：'3D Interaction Prediction via Graph-based Trajectory Modeling'，'3D Human-Object Interaction Estimation with Dense Scene Reconstruction'，'3D Human-Object Interaction from LiDAR and Vision via Graph-based Scene Understanding'等。