CooHOI: Learning Cooperative Human-Object Interaction with Manipulated Object Dynamics

近年来，由于大规模动作捕捉数据的可用性和强化学习方法的应用，人形控制取得了显著进展。然而，许多真实世界的任务，例如搬运大型沉重家具，需要多个角色的协作。由于多个角色协作数据的稀缺性和多智能体学习所面临的效率挑战，这些任务不能简单地使用针对单智能体场景设计的训练范式来解决。在本文中，我们介绍了一种新颖的框架——合作人-物互动（CooHOI），该框架通过两阶段学习范式解决了多角色物体运输问题：个体技能习得和后续转移。首先，单个智能体使用对抗性运动先验（AMP）框架学习执行任务。然后，智能体通过使用多智能体近端政策优化（MAPPO）进行并行训练，考虑被操作物体的共享动态，学习与他人协作。当一个智能体与物体进行交互，导致特定的物体动态变化时，其他智能体学习适当地响应，从而实现了队友之间的隐式沟通和协调。与以前依赖于基于跟踪的方法来进行多角色HOI的方法不同，CooHOI具有固有的高效性，不依赖于多角色互动的动作捕捉数据，并且可以无缝扩展以包括更多参与者和各种物体类型。

论文试图解决多人协作场景下的物体搬运问题，但是由于数据稀缺和多智能体学习的效率挑战，这个问题并不容易解决。

论文提出了一种名为CooHOI的框架，通过两个阶段的学习来解决多人协作搬运物体的问题。首先，单个智能体使用Adversarial Motion Priors框架学习任务，然后使用Multi Agent Proximal Policy Optimization算法并行训练多个智能体，以便他们能够在协作中考虑共享动力学，并实现隐式的沟通和协调。

CooHOI框架高效、不依赖于多人交互的运动捕捉数据，并且可以轻松扩展到包括更多参与者和各种物体类型。实验展示了CooHOI的有效性，并且比之前的方法表现更好。论文还开源了代码。

最近的相关研究包括基于跟踪的多人交互方法和其他多智能体协作学习方法。