Co-designing a Sub-millisecond Latency Event-based Eye Tracking System with Submanifold Sparse CNN

眼动追踪技术对于多种消费电子应用尤其是虚拟和增强现实（VR / AR）至关重要。这些应用需要在三个关键方面表现出色：低延迟、低功耗和高精度。然而，在所有这些方面实现最佳性能是一个巨大的挑战，需要在复杂算法和高效后端硬件实现之间取得平衡。在本研究中，我们通过与事件相机的协同软硬件设计来解决这一挑战。利用事件输入数据的固有稀疏性，我们集成了一种新型的稀疏FPGA数据流加速器，定制用于子流形稀疏卷积神经网络（SCNN）。加速器上实现的SCNN可以通过仅处理非零激活来有效地提取每个事件片段表示的嵌入特征向量。随后，这些向量通过主机CPU上的门控循环单元（GRU）和全连接层进行进一步处理，以生成眼中心。我们的系统的部署和评估显示出优秀的性能指标。在基于事件的眼动追踪-AIS2024数据集上，我们的系统在仅消耗2.29 mJ的情况下，实现了81％的p5准确度，99.5％的p10准确度和3.71的平均欧几里得距离，延迟为0.7毫秒。值得注意的是，我们的解决方案为未来的眼动追踪系统开辟了机会。代码可在https://github.com/CASR-HKU/ESDA/tree/eye_tracking上找到。

论文旨在解决虚拟和增强现实领域中的低延迟、低能耗和高精度的眼动追踪问题，通过软硬件协同设计实现。

论文采用事件相机和稀疏FPGA数据流加速器相结合的方法，实现了子流形稀疏卷积神经网络(SCNN)的高效处理，进而提取眼动数据的嵌入特征向量，最终在主机CPU上进行处理得到眼中心。相比当前领域的研究，该方法在软硬件协同设计方面有新意。

论文使用了Event-based Eye-Tracking-AIS2024数据集进行了实验，结果表明该系统在低延迟、低能耗和高精度方面表现出色，达到了81%的p5准确率、99.5%的p10准确率和3.71的平均欧几里得距离，每次推理仅消耗2.29 mJ。此外，论文提供了开源代码。

相关研究包括：《Real-time eye tracking and blink detection with deep neural network》、《Eye tracking for VR using consumer-grade DVS》等。