MESEN: Exploit Multimodal Data to Design Unimodal Human Activity Recognition with Few Labels

人类活动识别（HAR）将成为各种新兴应用的重要功能。然而，HAR通常会遇到与模态限制和标签稀缺有关的挑战，导致当前解决方案与实际需求之间存在应用差距。在这项工作中，我们提出了MESEN，一种多模态增强的单模态感知框架，利用在HAR模型设计阶段可用的未标记多模态数据，以在部署阶段增强单模态HAR。通过对监督多模态融合对单模态特征提取的影响的研究，MESEN被设计为在多模态辅助预训练阶段具有多任务机制。通过所提出的机制整合跨模态特征对比学习和多模态伪分类对齐，MESEN利用未标记的多模态数据提取每种模态的有效单模态特征。随后，MESEN只需要少量标记样本就能适应下游单模态HAR。对八个公共多模态数据集的大量实验表明，MESEN通过利用多模态数据在增强单模态HAR方面取得了显著的性能提升，超过了现有技术的基线水平。

该论文试图解决人类活动识别（HAR）中存在的模态限制和标签稀缺等挑战，以及当前解决方案与实际需求之间的应用差距。

论文提出了MESEN，一种多模态辅助单模态感知框架，利用在HAR模型设计阶段可用的未标记多模态数据，在部署阶段对单模态HAR进行增强。MESEN采用多任务机制进行多模态辅助预训练，结合跨模态特征对比学习和多模态伪分类对齐，利用未标记的多模态数据提取每种模态的有效单模态特征。随后，MESEN可以通过仅使用少量标记样本适应下游单模态HAR。

该论文在八个公共多模态数据集上进行了广泛实验，证明了MESEN在利用多模态数据增强单模态HAR方面比现有技术取得了显著的性能提升。值得注意的是，论文提出的多任务机制和特征对比学习方法可以应用于其他领域的多模态学习任务。

相关研究包括但不限于：《Deep Learning for Sensor-based Activity Recognition: A Survey》、《A Review of Recent Advances in Multimodal Human Activity Recognition》、《Multimodal Deep Learning: A Survey on Recent Advances and Trends》等。