EgoHand: Ego-centric Hand Pose Estimation and Gesture Recognition with Head-mounted Millimeter-wave Radar and IMUs

最近的先进虚拟现实（VR）头戴设备，例如苹果Vision Pro，采用朝下的摄像头来检测手部动作和输入，这为用户在VR互动中提供了极大的便利。然而，这些朝下的摄像头有时会带来不便，并且存在无意间暴露敏感信息的风险，比如私人身体部位或个人周围环境。为了解决这些问题，我们引入了EgoHand系统。该系统通过集成毫米波雷达和惯性测量单元（IMU）进行手部动作识别，从而为用户提供了一种增强隐私保护的手势交互替代方案。为了准确识别手部动作，我们设计了一种基于骨架的两阶段手势识别方案。在第一阶段，采用一种新颖的端到端Transformer架构来估算手关节的坐标。随后，利用这些估算出的关节坐标进行手势识别。涉及10名受试者的大量实验表明，EgoHand可以以90.8%的准确率检测手部动作。此外，EgoHand在不同用户、主用手、身体姿态和场景等跨域测试中表现出强大的性能。

该论文旨在解决当前VR头显（如Apple Vision Pro）中底朝下摄像头用于手部姿态识别时可能无意暴露用户敏感信息的问题。这是一个新问题，随着VR技术的发展和普及，隐私保护成为了一个重要议题。

EgoHand系统的关键思路是通过结合毫米波雷达和惯性测量单元(IMUs)来替代摄像头进行手部姿态识别，从而提供更高的隐私保护。与现有方法相比，这种方法不依赖视觉输入，避免了潜在的隐私泄露风险。此外，论文提出了一种两阶段的手势识别方案：首先使用Transformer架构估计手关节坐标，然后利用这些坐标进行手势识别。

该研究展示了EgoHand在10名受试者中的手部姿态识别准确率达到90.8%，并在不同用户、主导手、身体姿势和场景等跨域测试中表现出稳健性能。实验设计涵盖了多种条件下的测试，确保系统的通用性和可靠性。虽然没有提及开源代码或具体数据集，但该研究为未来隐私保护的VR交互提供了有价值的方向，值得进一步探索毫米波雷达和其他非视觉传感器的应用。

近期相关研究包括： 1. "Millimeter-Wave Sensing for Human-Computer Interaction" - 探索毫米波雷达在人机交互中的应用。 2. "Privacy-Preserving Hand Gesture Recognition Using Radar" - 研究如何利用雷达实现隐私保护的手势识别。 3. "Transformer-Based Skeletal Gesture Recognition" - 利用Transformer架构进行骨骼姿态识别的研究。 这些研究共同推动了非视觉传感器在人机交互领域的应用和发展。