CLARE: Cognitive Load Assessment in REaltime with Multimodal Data

我们提供了一个新颖的多模态数据集，用于在实时中评估认知负荷（CLARE）。该数据集包含24名参与者的生理和注视数据，以自我报告的认知负荷分数作为基准标签。该数据集包括四种模态，即心电图（ECG）、皮肤电反应（EDA）、脑电图（EEG）和注视跟踪。为了在实验期间将不同水平的心理负荷映射到参与者身上，每个参与者在计算机操作员表现和心理负荷任务（MATB-II软件）上完成了四个九分钟的会话，每个会话在一分钟内以不同的复杂度进行。在实验过程中，参与者每10秒报告一次他们的认知负荷。对于数据集，我们还使用机器学习和深度学习模型提供了基准二元分类结果，分别采用10折和留一子试验（LOSO）交叉验证。基准结果表明，在10折评估中，基于卷积神经网络（CNN）的深度学习模型在ECG、EDA和注视方面实现了最佳分类性能。相反，在LOSO方面，ECG、EDA和EEG的深度学习模型实现了最佳性能。

提出了一个新的多模态数据集，用于实时认知负荷评估。研究的主要目的是通过生理和注视数据来预测认知负荷水平。

使用多模态数据来评估实时认知负荷水平，包括ECG、EDA、EEG和注视跟踪。使用深度学习模型来预测认知负荷水平，并与现有的分类方法进行比较。

使用MATB-II软件进行了四个9分钟的实验，每个实验包含不同的认知负荷水平。提供了基准分类结果和开源数据集。使用10折和LOSO交叉验证方法进行了实验，并比较了各种模型的性能。

最近的相关研究主要集中在使用生理数据来预测认知负荷水平，如心率变异性、皮肤电反应和脑电图。相关论文包括“Real-time mental workload classification using a wearable forehead EOG sensor with a functional near-infrared spectroscopy system”和“Continuous recognition of cognitive load levels with machine learning using short-term features from electroencephalography”。