A Framework for Pupil Tracking with Event Cameras

Saccades是指两只眼睛同时快速移动的现象，通常在个体将注意力从一个物体转移到另一个物体时观察到。这些运动是人类产生的最快速度之一，其速度甚至可以超过眨眼的速度。在人类身上，眼球在Saccades运动中的峰值角速度可以达到700度/秒，尤其是在涵盖25度视觉角度的大型Saccades中。以前的研究已经证明，通过研究Saccades可以理解神经疾病方面的情况。Saccade检测的必要步骤是准确地识别眼球内瞳孔的精确位置，从而可以推断出其他信息，例如注视角度。传统的基于帧的相机通常难以追踪非常快速的运动所需的高时间精度，导致运动模糊和延迟问题。另一方面，事件相机提供了一种有前途的替代方案，可以异步记录视觉场景的变化，并提供高时间分辨率和低延迟。通过弥合传统计算机视觉和事件视觉之间的差距，我们将事件呈现为帧，可以轻松地被标准深度学习算法利用。这种方法利用YOLOv8，一种最先进的目标检测技术，使用公开可访问的Ev-Eye数据集处理这些帧以进行瞳孔跟踪。实验结果证明了该框架的有效性，并突出了它在神经科学、眼科学和人机交互方面的潜在应用。

论文旨在通过使用事件相机技术和YOLOv8目标检测算法，解决传统摄像机在追踪眼球快速运动时出现的模糊和延迟问题，从而实现更准确的瞳孔追踪。

使用事件相机技术记录异步变化的视觉场景，将事件转换为帧，然后使用YOLOv8算法进行瞳孔追踪。

论文使用公开可用的Ev-Eye数据集进行实验，并展示了该方法在神经科学、眼科学和人机交互等领域的应用潜力。同时，论文提供了开源代码。

最近的相关研究包括使用事件相机进行视觉SLAM（Simultaneous Localization and Mapping）和目标跟踪等方面的研究，如“Event-based Visual SLAM with a Multi-modal Trigger”和“Event-based Object Tracking with Online Trajectory Prediction and Reidentification”等。