On-Device Training Empowered Transfer Learning For Human Activity Recognition

人类活动识别（HAR）是感知人类行为和提供辅助服务的一个有吸引力的主题。除了传统的惯性单元和基于视觉的HAR方法外，新的传感技术，如超声波和身体区域电场，已经出现在HAR中，以增强用户体验和适应新的应用场景。由于这些传感器通常与AI配对用于HAR，因此与更广泛的IMU或基于视觉的HAR解决方案相比，它们经常遇到由于训练数据有限而导致的挑战。此外，在这种HAR场景中，用户引起的概念漂移（UICD）很常见。UICD的特点是新用户的样本分布与训练参与者的样本分布存在偏差，导致识别性能下降。本文提出了一种针对能源和资源受限的物联网边缘设备量身定制的设备上迁移学习（ODTL）方案。为两个代表性的MCU级边缘计算平台（STM32F756ZG和GAP9）开发了优化的设备上训练引擎。基于此，我们在三种HAR场景中评估了ODTL的效益：基于身体电容的健身活动识别、基于QVAR和超声波的手势识别。我们分别展示了识别准确率提高了3.73％、17.38％和3.70％。此外，我们观察到基于RISC-V的GAP9在ODTL部署期间的延迟和功耗比STM32F7 MCU分别降低了20倍和280倍，展示了采用最新的低功耗并行计算设备进行边缘任务的优势。

论文旨在解决在新型传感器技术下进行人类活动识别时，数据量有限和用户概念漂移等问题。

论文提出了一种适用于物联网边缘设备的设备内迁移学习方案，通过优化设备内训练引擎，在STM32F756ZG和GAP9两种MCU级边缘计算平台上进行了评估，并取得了较好的结果。

论文在三种人类活动识别场景下进行了实验，分别是基于身体电容的健身活动识别、基于QVAR和超声波的手势识别，取得了不同程度的识别精度提升。同时，论文还比较了两种不同平台的性能表现。

近期相关研究包括《A Survey on Human Activity Recognition Using Wearable Sensors》和《Human Activity Recognition Using Wearable Sensors and Deep Learning: A Systematic Review》等。