in2IN: Leveraging individual Information to Generate Human INteractions

在许多领域中，如机器人技术、游戏、动画和元宇宙，基于文本描述生成人与人之间的运动互动是非常有用的应用。然而，这种应用的实现也面临着建模高维度人际动态的巨大困难。此外，准确捕捉互动的个体多样性也具有很大的挑战。目前的方法由于可用数据集和调节策略的限制，生成的互动个体动态多样性有限。因此，我们引入了一种新的扩散模型in2IN，用于生成人际运动，它不仅受到整体互动的文本描述的影响，还受到参与互动的每个人所执行的动作的个体描述的影响。为了训练这个模型，我们使用一个大型语言模型来扩展InterHuman数据集，加入个体描述。结果，in2IN在InterHuman数据集中实现了最先进的性能。此外，为了增加现有互动数据集中的个体多样性，我们提出了DualMDM，一种模型组合技术，将in2IN生成的运动和在HumanML3D上预先训练的单人运动先验生成的运动相结合。结果，DualMDM生成的运动具有更高的个体多样性，改善了对个体动态的控制，同时保持了人际一致性。

本论文的问题是如何生成多人运动交互的模型，尤其是如何解决局限于数据集和条件策略的情况下，生成交互时缺乏个体动态多样性的问题。

本论文提出了一种新的扩散模型 in2IN，不仅可以根据整体交互的文本描述，还可以根据每个参与者的动作描述来生成多人运动交互。同时，还提出了一种模型组合技术 DualMDM，将 in2IN 生成的动作与单人运动先验生成的动作相结合，以增加个体动态多样性。

本论文使用大型语言模型扩展 InterHuman 数据集，以便在训练 in2IN 时使用。实验结果表明，in2IN 在 InterHuman 数据集上的性能达到了最先进水平。此外，DualMDM 可以生成具有更高个体动态多样性的动作，并提高对个人动态的控制能力，同时保持人际一致性。论文还开源了代码。

在这个领域中，最近的相关研究包括：Learning Social Affordances for Human-Robot Interaction，Socially Aware Motion Planning with Deep Reinforcement Learning，Generating Diverse Human Motion with Adversarial Semi-Supervised Variational Autoencoders 等。