ActSonic: Recognizing Everyday Activities from Inaudible Acoustic Waves Around the Body

我们介绍了ActSonic，这是一个智能、低功耗的主动声学感知系统，集成在眼镜中，可以从身体周围的不可听声波中识别27种不同的日常活动（例如吃饭、喝水、刷牙），时间分辨率为1秒。它只需要在眼镜的每个铰链上安装一对微型扬声器和麦克风来发射超声波，从而在身体周围创建一个声学氛围。基于各个身体部位的位置和运动，声学信号通过麦克风捕捉到独特的反射模式，并由定制的自监督深度学习框架进行分析，以推断出所执行的活动。ActSonic在19个家庭的19名参与者的用户研究中进行了部署，以评估其有效性。在不需要从新用户那里获取任何训练数据的情况下（留一参与者评估），ActSonic能够检测到27种活动，在完全不受限制的情况下平均F1得分为86.6％，在提示设置下为93.4％。

ActSonic试图通过在眼镜上集成的智能、低功耗主动声学感测系统来识别27种日常活动，以解决人体行为识别的问题。

ActSonic使用眼镜上的微型扬声器和麦克风发射超声波来创建身体周围的声学氛围，根据各个身体部位的位置和运动，通过自我监督的深度学习框架分析独特的声学信号模式来推断所执行的活动。

ActSonic在19个家庭的19名参与者中进行了用户研究，无需从新用户那里获得任何训练数据（留一参与者评估），能够检测27种活动，在完全无限制的情况下平均F1分数为86.6％，在提示设置下为93.4％。

最近的相关研究包括使用传感器、摄像头和微波雷达等技术来识别人体活动。例如，论文《A Survey on Human Activity Recognition Using Wearable Sensors》和《Human Activity Recognition Using Smartphones Dataset and Deep Learning Classifier》。