emg2pose: A Large and Diverse Benchmark for Surface Electromyographic Hand Pose Estimation

手是人类与世界互动的主要方式。 可靠且随时可用的手部姿态推断可以为人类与计算机的交互提供新的、直观的控制方案，特别是在虚拟现实和增强现实中。 计算机视觉是有效的，但需要一个或多个摄像头，并且在遮挡、视野有限和光线不良的情况下可能会遇到困难。 可穿戴腕部表面肌电图（sEMG）作为一种始终可用的模态，通过感知驱动手部运动的肌肉活动，呈现出一种有前途的替代方案。 然而，sEMG信号强烈依赖于用户的解剖结构和传感器的位置，现有的sEMG模型需要数百名用户和设备位置才能有效泛化。 为了促进sEMG姿态推断的研究进展，我们引入了emg2pose基准，这是最大的公开可用的高质量手部姿态标签和腕部sEMG记录数据集。 emg2pose包含来自26个摄像头动作捕捉装置的193名用户、370小时和29个阶段的2kHz、16通道sEMG和姿态标签，涵盖了多样的手势，其规模与基于视觉的手部姿态数据集相当。 我们提供了具有竞争力的基线模型和具有挑战性的任务，评估真实世界的泛化场景：未见过的用户、传感器位置和阶段。 emg2pose为机器学习社区提供了一个探索复杂泛化问题的平台，有望显著增强基于sEMG的人机交互的发展。

该论文旨在解决手部姿态估计的问题，特别是在虚拟和增强现实中提供一种可靠的、始终可用的手势控制方法。现有的计算机视觉方法在处理遮挡、有限视野和不良光照条件时存在局限性。

论文提出了一种基于可穿戴腕部表面肌电图（sEMG）的方法，通过捕捉肌肉活动来推断手部姿态。为了解决sEMG信号对用户解剖结构和传感器位置的高度依赖性，论文引入了一个大规模的数据集emg2pose，包含来自193名用户的高分辨率sEMG信号和手部姿态标签，总时长超过370小时。

emg2pose是目前最大的公开手部姿态和sEMG信号数据集，提供了2kHz、16通道的sEMG数据和26个摄像头捕捉的高精度手部姿态标签。论文还提供了多个基线模型和挑战任务，评估不同用户、传感器位置和场景下的泛化能力。此外，数据集和代码均已开源，为未来的研究提供了平台。

近期相关研究包括： 1. "HandPose123: A Large-Scale Dataset for Hand Pose Estimation" - 提供了一个大规模的视觉手部姿态数据集。 2. "Wearable EMG-Based Hand Gesture Recognition Using Deep Learning" - 探索了使用深度学习技术从sEMG信号中识别手势。 3. "Cross-Subject Hand Gesture Recognition Using Transfer Learning" - 研究了跨用户的手势识别问题，提出了迁移学习方法。