FAPNet: An Effective Frequency Adaptive Point-based Eye Tracker

眼动追踪在不同领域的人机交互中至关重要。传统相机在不同的眼部运动过程中遇到功耗和图像质量等挑战，因此需要具有超快速、低功耗和准确的眼动追踪器的先进解决方案。事件相机基本上是为捕捉移动物体的信息而设计的，具有低功耗和高时间分辨率。这使它们成为眼动追踪领域传统相机的替代品。然而，现有的基于事件的眼动追踪网络忽略了事件中关键的稀疏和细粒度的时间信息，导致性能不佳。此外，过度复杂的模型进一步损害了节能特性，阻碍了在边缘设备上的有效部署。本文利用点云作为事件表示来利用事件在眼动追踪任务中的高时间分辨率和稀疏特性。我们重新思考了基于点的架构PEPNet，并通过预处理样本之间的长期关系，设计了创新的FAPNet。设计了一种频率自适应机制，根据瞳孔运动的速度实现自适应跟踪，并引入了Inter Sample LSTM模块来利用样本之间的时间相关性。在基于事件的眼动追踪挑战中，我们使用了原始的PEPNet，该方法实现了97.95％的$p_{10}$准确率。在SEET合成数据集上，FAPNet可以实现最先进的性能，同时仅消耗PEPNet计算资源的10％。值得注意的是，FAPNet的计算需求与传感器的空间分辨率无关，增强了其在资源有限的边缘设备上的适用性。

论文旨在解决传统相机在眼动跟踪中遇到的问题，如功耗和图像质量等，提出使用基于事件的相机作为替代方案，但现有的基于事件的眼动跟踪网络忽视了事件中的稀疏和细粒度时间信息，导致性能不佳。

论文提出使用点云作为事件表示来利用事件的高时间分辨率和稀疏特性，重新设计基于点的架构PEPNet，引入Inter Sample LSTM模块来利用样本之间的时间关联，并设计了频率自适应机制来实现自适应跟踪。

论文在SEET合成数据集上，FAPNet可以以仅消耗PEPNet计算资源的10％的速度实现最先进的性能，而且FAPNet的计算需求不受传感器空间分辨率的影响，增强了其在资源受限的边缘设备上的适用性。

最近的相关研究包括：1. 'Real-time Eye Tracking and Blink Detection using a Convolutional Neural Network'；2. 'A Survey on Eye Tracking: Applications, Methods, and Tools'；3. 'Event-based vision: a survey'。