Nymeria: A Massive Collection of Multimodal Egocentric Daily Motion in the Wild

我们介绍了Nymeria——一个大规模、多样化、丰富注释的人类运动数据集，在野外使用多种多模态自我中心设备收集。该数据集包括：a) 全身三维运动真实值；b) 从Project Aria设备中获取的自我中心多模态记录，包括RGB、灰度、眼动相机、IMUs、磁力计、气压计和麦克风；以及c) 提供第三人称视角的额外“观察者”设备。我们对所有传感器进行了跨设备和捕获会话的世界对齐的6DoF变换。该数据集还提供了3D场景点云和经过校准的凝视估计。我们制定了一项协议，以注释上下文中的人类运动的分层语言描述，从细粒度姿势叙述到原子动作和活动总结。据我们所知，Nymeria数据集是世界上最大的野外人类运动自然多样化活动数据集；它是第一个提供了同步和本地化多设备多模态自我中心数据的数据集；它是世界上最大的带有运动语言描述的数据集。它包含了来自264名参与者、在50个位置上旅行了总共399公里的300小时日常活动的1200个记录。运动语言描述提供了310.5K句子，由6545个词汇组成的8.64M单词。为展示该数据集的潜力，我们定义了自我中心身体跟踪、运动合成和动作识别的关键研究任务，并评估了几种最先进的基线算法。数据和代码将开源。

Nymeria数据集旨在解决人类动作多模态数据集的缺失问题，并提供了丰富的注释和语言描述，以促进人类动作相关研究的发展。

Nymeria数据集提供了多个多模态设备的同步数据，包括全身3D运动数据、RGB、灰度、眼动、IMU、磁力计、气压计和麦克风数据。此外，数据集还提供了第三人称视角的观察设备和3D场景点云数据。

该数据集包含1200个记录，264个参与者，50个地点，总计300小时的日常活动，行程达399公里。语言描述提供了310.5K句子，8.64M单词，词汇量为6545个。该数据集的亮点是提供了丰富的注释和多模态数据，并且已经开源。

在人类动作相关领域，最近的相关研究包括：1）EPIC-KITCHENS，一个关于厨房场景的多模态数据集；2）AVA，一个关于人类行为识别的数据集；3）HMDB51，一个关于人类动作识别的数据集。