Random Channel Ablation for Robust Hand Gesture Classification with Multimodal Biosignals

多模态生物信号手势分类是有效的人机交互的重要组成部分。在多模态生物信号感知中，由于数据中的丢失通道，各种模态通常会面临数据丢失，这可能会对手势分类性能产生不利影响。为使分类器对数据中的丢失通道具有鲁棒性，本文提出了在训练过程中使用随机通道消融（RChA）的方法。对于两个受试者的前臂进行超声和力肌电（FMG）数据采集，共获得了12种手势的多模态数据，其中每种模态有8个通道，总共有16个通道。将所提出的方法应用于卷积神经网络架构，并与基线、插补和神谕方法进行比较。在两个受试者的5折交叉验证中，与基线相比，对于最多4个和8个丢失通道的手势分类，平均改善了12.2％和24.5％。值得注意的是，与其他方法相比，所提出的方法对于丢失通道数量的增加也具有鲁棒性。这些结果表明，使用随机通道消融来提高多模态和多通道生物信号手势分类器的鲁棒性是有效的。

本文旨在解决多模态生物信号手势分类中由于数据中缺失通道而导致的问题，提出了随机通道删减（RChA）的解决方案。

本文使用卷积神经网络结构，并将随机通道删减应用于训练过程，使分类器对数据中缺失通道具有鲁棒性。

实验使用超声和力肌电数据，共16个通道，应用5倍交叉验证，证明了随机通道删减方法相较于基线、插值和预测方法，在4个和8个缺失通道的情况下，手势分类的平均提高了12.2%和24.5%。此外，该方法还对缺失通道数量的增加具有鲁棒性。

相关研究包括：1. Multimodal Gesture Recognition using 3D Convolutional Neural Networks (ICMI'17); 2. Multimodal Gesture Recognition using Recurrent Neural Networks with Attention Mechanism (ICMI'18); 3. Multimodal Gesture Recognition using Residual and Convolutional Networks with Attention Mechanism (ICMI'18)