HOI-M3:Capture Multiple Humans and Objects Interaction within Contextual Environment

人类自然地与周围的多个物体和其他人进行互动，参与各种社交活动。然而，由于基础数据的稀缺性，目前对于人-物交互的建模大多集中于感知孤立的个体和物体。本文介绍了HOI-M3，这是一个用于建模多人和多物体交互的新型大规模数据集。值得注意的是，它提供了准确的3D跟踪，包括人类和物体，从密集的RGB和物体安装的IMU输入中涵盖了199个序列和181M帧的各种人类和物体的丰富活动。利用独特的HOI-M3数据集，我们引入了两个新的基于数据驱动的任务，并提供了强有力的基线模型：单目捕捉和多人物交互的非结构化生成。广泛的实验表明，我们的数据集具有挑战性，并值得进一步研究多人物交互和行为分析。我们的HOI-M3数据集、相应的代码和预训练模型将被传播到社区，以供未来研究使用。

本论文旨在解决人类与物体之间的多重交互建模问题，提出了一个新的大规模数据集HOI-M3，为未来的研究提供了数据基础。

通过HOI-M3数据集，本论文提出了两个新的数据驱动任务，并提供了强大的基线模型，包括单目捕捉和多重人物物体交互的无结构生成。

本论文提供了一个新的大规模数据集HOI-M3，涵盖了199个序列和181M帧的多样化人类和物体的交互，提供了准确的3D跟踪。论文还介绍了两个新的数据驱动任务，并提供了强大的基线模型。实验结果表明，HOI-M3数据集是具有挑战性的，值得进一步研究多重人物物体交互和行为分析。

最近的相关研究包括：《Learning Human-Object Interactions by Graph Parsing Neural Networks》、《InteractGAN: Learning to Generate Human-Object Interaction》、《HOI Transformer: A Novel Sequence-to-Sequence Architecture for Interaction Recognition》等。