CORE4D: A 4D Human-Object-Human Interaction Dataset for Collaborative Object REarrangement

了解人类如何合作重新布置家庭物品对于虚拟现实/增强现实和人机交互至关重要。然而，由于缺乏相关数据集，对建模这些行为的深入研究尚未得到充分开展。我们通过介绍CORE4D来填补这一空白，这是一个新颖的大规模4D人-物-人交互数据集，专注于合作式物体重新布置，涵盖了各种物体几何形状、协作模式和3D场景的多样组合。我们在现实世界中捕捉了1K个人-物-人运动序列，通过贡献一个迭代协作重定位策略来扩充CORE4D，以增强对各种新物体的运动。利用这种方法，CORE4D包含了总共11K个协作序列，涵盖了3K个真实和虚拟物体形状。利用CORE4D提供的广泛运动模式，我们评估了两个旨在生成人-物交互的任务：人-物运动预测和交互合成。广泛的实验表明了我们的协作重定位策略的有效性，并表明CORE4D对现有的人-物交互生成方法提出了新的挑战。我们的数据集和代码可在https://github.com/leolyliu/CORE4D-Instructions上获取。

论文旨在解决人类如何协作重新排列家居物品的问题，但由于缺乏相关数据集，该问题的建模研究尚不充分。

论文提出了一个新的大规模4D人-物-人交互数据集CORE4D，重点关注协作物品重新排列，包括各种物体几何形状、协作模式和3D场景的多样性组合。通过迭代协作重定位策略，将运动扩展到各种新物体，丰富了数据集。利用CORE4D提供的广泛运动模式，论文对两个任务进行了基准测试：人-物运动预测和交互合成。

CORE4D包括1000个在现实世界中捕获的人-物-人运动序列，涵盖了3000个真实和虚拟物体形状的11000个协作序列。论文提出的迭代协作重定位策略有效地解决了数据集扩展问题。实验结果表明，CORE4D提出了新的挑战，并促进了现有的人-物交互生成方法的发展。数据集和代码已经开源。

最近的相关研究包括：《The THU-READ dataset: A large-scale RGB-D dataset for reading behavior analysis》、《The EPIC-KITCHENS dataset: Collection, challenges and baselines》、《The Gaze in the Wild 2 (GW2) Dataset: An Eye Tracking Dataset for Complex Everyday Life Scenes》等。