DeepFace-Attention: Multimodal Face Biometrics for Attention Estimation with Application to e-Learning

这项工作介绍了一种创新的方法，利用一系列面部分析技术应用于网络摄像头视频来估计注意力水平（认知负荷）。我们的方法特别适用于电子学习应用程序，因此我们在mEBAL2数据库上对我们的方法进行了训练、评估和比较，该数据库是在电子学习环境中收集的一个公共多模态数据库。mEBAL2包括60个用户执行8个不同任务的数据。这些任务的难度不同，导致他们的认知负荷发生变化。我们的方法采用最先进的面部分析技术来量化用户的认知负荷，以高或低的注意力形式呈现。我们使用了与认知负荷相关的几种行为信号和生理过程，如眨眼、心率、面部动作单位和头部姿势等。此外，我们进行了一项研究，以了解哪些个体特征获得更好的结果，最有效的组合，探索局部和全局特征以及临时时间间隔如何影响注意力水平估计等方面。我们发现，全局面部特征更适合于使用评分级别融合的多模态系统，特别是在时间窗口增加时。另一方面，局部特征更适合于通过神经网络训练与评分级别融合方法相结合。我们的方法在使用公共mEBAL2基准测试时优于现有的最先进准确性。

论文旨在通过应用面部分析技术的集成来估计注意力水平（认知负荷），特别适用于电子学习应用。论文试图解决如何通过面部表情等行为信号和生理过程来量化用户的认知负荷的问题。

该论文的关键思路是将多种面部分析技术应用于视频，以量化用户的认知负荷。使用了多种行为信号和生理过程，如眼睑、心率、面部动作单元和头部姿势等，来估计用户的注意力水平。

论文使用了公共多模态数据库mEBAL2，对60个用户执行8个不同的任务进行了训练、评估和比较。研究了哪些个人特征能够获得更好的结果，哪些是最有效的组合，探索了局部和全局特征，以及临时时间间隔如何影响注意水平估计等方面。使用了全局面部特征和局部面部特征结合的方法进行训练，取得了比现有技术更好的结果。

最近在这个领域中，还有一些相关的研究，如基于生理和行为特征的认知负荷估计，基于面部表情的认知负荷估计等。