Helios: An extremely low power event-based gesture recognition for always-on smart eyewear

本文介绍了Helios，这是第一个专为全天佩戴智能眼镜设计的极低功耗、实时、事件驱动手势识别系统。随着增强现实（AR）的发展，当前的智能眼镜如Meta Ray-Bans在视觉和穿戴舒适性方面优先考虑，而牺牲了功能性。这些设备中现有的人机界面（HMI），如电容触摸和语音控制，存在人体工程学、隐私和功耗方面的限制。Helios通过利用自然的手部交互来解决这些挑战，从而实现更直观、更舒适的用户体验。我们的系统利用一款极低功耗、超小尺寸（3mmx4mm/20mW）的事件相机，为全天佩戴的智能眼镜提供自然手势识别功能。相机的输出由运行在NXP Nano UltraLite计算平台上的卷积神经网络（CNN）进行处理，功耗不到350mW。Helios可以识别七种手势，包括轻微的微手势，如滑动和捏合，准确率达到91%。我们还展示了在20名用户中实时表现，并以惊人的低延迟60ms运行。我们的用户测试结果与我们最近在AWE-USA-2024上成功演示时收到的积极反馈一致。

本论文介绍了Helios，这是第一个专为全天佩戴的智能眼镜设计的极低功耗、实时、基于事件的手势识别系统。该系统试图解决现有智能眼镜在功能性和人机交互方面存在的限制和问题。

Helios利用自然的手部交互方式，实现更直观、更舒适的用户体验，采用极低功耗且紧凑的3mmx4mm/20mW事件相机，进行基于手部手势的识别，使用NXP Nano UltraLite计算平台上运行的卷积神经网络（CNN）进行处理，功耗不到350mW。

Helios可以识别七种手势，包括微小手势，如滑动和捏合，准确率达到91%。实验结果表明，在60ms的极低延迟下，可以实现20个用户的实时性能。

最近的相关研究包括基于手势识别的人机交互方案和智能眼镜技术的发展。其中一些论文包括：“Real-time Hand Gesture Detection and Classification Using Convolutional Neural Networks”和“Smart Glasses: A Comprehensive Review”。