An Evolutionary Network Architecture Search Framework with Adaptive Multimodal Fusion for Hand Gesture Recognition

基于多模态数据的手势识别（HGR）因其在应用方面的巨大潜力而引起了人们的广泛关注。各种手动设计的多模态深度网络在多模态HGR（MHGR）方面表现良好，但大多数现有算法需要大量专业经验和耗时的手动试验。为解决这些问题，我们提出了一种自适应多模型融合（AMF-ENAS）的进化网络架构搜索框架。具体而言，我们设计了一个编码空间，同时考虑多模态数据的融合位置和比率，通过解码实现不同架构的多模态网络的自动构建。此外，我们考虑了三个输入流，分别对应于内模表面肌电图（sEMG）、内模加速度计（ACC）和间模sEMG-ACC。为了自动适应各种数据集，ENAS框架被设计为自动搜索具有适当融合位置和比率的MHGR网络。据我们所知，这是ENAS首次被用于MHGR，以解决多模态数据的融合位置和比率的问题。实验结果表明，AMF-ENAS在Ninapro DB2、DB3和DB7数据集上实现了最先进的性能。

本论文旨在解决多模态手势识别中融合位置和比率的问题，提出了一种自适应多模型融合的进化网络架构搜索框架（AMF-ENAS），通过自动构建具有不同架构的多模态网络来解决手动设计多模态深度网络所需的专家经验和耗时的问题。

论文提出了一种编码空间，同时考虑多模态数据的融合位置和比率，通过解码实现自动构建多模态网络。此外，考虑三个输入流对应于表面肌电图（sEMG）内模态、加速度计（ACC）内模态和sEMG-ACC间模态。ENAS框架被设计用于自动搜索具有适当融合位置和比率的多模态手势识别网络，以自适应各种数据集。

论文在Ninapro DB2、DB3和DB7数据集上实现了最先进的性能。该论文提出的AMF-ENAS框架具有自动构建多模态网络、自适应各种数据集的优点。

与本文相关的研究包括手势识别、多模态数据融合、进化神经网络架构搜索等领域的研究。例如：《Real-time hand gesture recognition using deep learning and data augmentation》、《Multimodal fusion for hand gesture recognition: a review》、《Progressive neural architecture search》等。