Introducing HOT3D: An Egocentric Dataset for 3D Hand and Object Tracking

我们介绍了HOT3D，这是一个公开可用的数据集，用于在三维空间中追踪自我中心的手部和物体。该数据集提供了超过833分钟（超过370万张图片）的多视角RGB /单色图像流，展示19个主体与33个不同的刚性物体互动，多模态信号，如眼睛注视或场景点云，以及全面的地面真实标注，包括物体、手部和相机的三维姿势以及手部和物体的三维模型。除了简单的拿起/观察/放下动作外，HOT3D还包含类似于厨房、办公室和客厅环境中的典型动作情景。该数据集由Meta的两个头戴设备记录：Project Aria，一个轻量级AR / AI眼镜的研究原型，以及Quest 3，一个已售出数百万台的生产VR头戴式显示器。通过专业的运动捕捉系统使用附着在手部和物体上的小光学标记获得了地面真实姿态。手部注释以UmeTrack和MANO格式提供，物体则由内部扫描仪获得的带有PBR材料的三维网格表示。我们旨在通过公开HOT3D数据集并在ECCV 2024上共同组织数据集的公开挑战，加速自我中心手物互动研究。数据集可以从项目网站上下载：https://facebookresearch.github.io/hot3d/。

HOT3D数据集的介绍和推广

提供了一个公开的、多模态的、全面的egocentric手和物体跟踪数据集，旨在加速这个领域的研究。

HOT3D数据集包括了超过19个主题与33个不同的物体交互的多视角RGB/单色图像流，以及多模态信号，如眼睛注视或场景点云。同时提供了全面的标注，包括物体、手和相机的3D姿态以及手和物体的3D模型。数据集由Meta的两个头戴设备记录：轻量级AR/AI眼镜的研究原型Project Aria和已销售数百万台的生产VR头戴式显示器Quest 3。手注释以UmeTrack和MANO格式提供，物体由PBR材质的3D网格表示，使用内部扫描仪获取。论文还计划在ECCV 2024上基于该数据集组织公开挑战。

最近的相关研究包括手和物体跟踪的数据集，如EgoHands和GTEA，以及手和物体姿势估计的算法，如DenseReg和HO-3D。