InterMimic: Towards Universal Whole-Body Control for Physics-Based Human-Object Interactions

实现人类与各种物体交互的真实模拟一直是基本目标。将基于物理的运动模仿扩展到复杂的人类与物体的交互（HOIs）具有挑战性，这是由于人与物之间的复杂耦合、物体几何形状的变化以及动作捕捉数据中的伪影（如接触不准确和手部细节有限）所导致的。我们引入了InterMimic框架，该框架使单一策略能够从涵盖与动态和多样物体进行全身交互的数小时不完美MoCap数据中稳健学习。我们的关键见解是采用课程策略——先完善再扩展。我们首先训练特定于个体的教师策略来模仿、重定向和优化动作捕捉数据。接下来，我们将这些教师策略提炼成一个学生策略，其中教师作为在线专家提供直接监督以及高质量的参考。值得注意的是，我们在学生策略上结合了强化学习微调，以超越单纯的演示复制并实现更高质量的解决方案。我们的实验表明，InterMimic在多个HOI数据集中产生了真实且多样的交互。所学策略可以零样本泛化，并无缝集成到运动生成器中，使框架从单纯的模仿提升为复杂人机交互的生成建模。

该论文试图解决在复杂的人与物体交互（HOI）中，通过物理基础的动作模仿实现真实感模拟的挑战。这包括处理人类和物体之间的复杂耦合、物体几何形状的变化性以及动作捕捉数据中的不准确接触和有限的手部细节等问题。这是一个长期存在的问题，但在此研究中提出了新的解决方案以应对这些挑战。

关键思路是引入了一个名为InterMimic的框架，它采用了一种‘先完善后扩展’的教学策略。首先，训练特定于个体的教师策略来模仿、重定向和优化动作捕捉数据；然后，将这些教师策略的知识提炼到一个学生策略中，同时利用强化学习对学生的性能进行微调，使其超越单纯的动作复制，达到更高的质量水平。这种从特定到一般的迁移学习方法为解决HOI问题提供了新颖且有效的途径。

该研究展示了InterMimic框架能够生成逼真且多样的人机交互，并能在未见过的数据上实现零样本泛化。此外，该框架可以与运动学生成器无缝集成，从而提升其作为复杂HOI生成模型的能力。实验设计涵盖了多个HOI数据集，证明了方法的有效性和鲁棒性。虽然文中没有明确提到代码开源情况，但此类工作值得进一步探索，特别是在提高交互的真实性和自然度方面。

近年来，在HOI领域有几项相关研究，例如《Learning Human-Object Interaction by Graph Attention Networks》、《A Dataset and Benchmark for Object-Centric Human Action Recognition》等。这些研究主要集中在如何更好地理解人与物体之间的关系以及改进交互行为的学习算法。InterMimic的独特之处在于它不仅关注于学习，还强调了从低质量或嘈杂的数据中提取有用信息的能力。