MambaPupil: Bidirectional Selective Recurrent model for Event-based Eye tracking

事件驱动的眼动追踪利用事件相机提供的高时间分辨率和低冗余已经显示出巨大的潜力。然而，眼动模式的多样性和突然性，包括眨眼、注视、快速眼球运动和平稳追踪，对眼部定位提出了重大挑战。为了实现稳定的事件驱动眼动追踪系统，本文提出了一个双向长期序列建模和时变状态选择机制，以充分利用上下文时间信息来应对眼动的可变性。具体而言，本文提出了MambaPupil网络，它由多层卷积编码器、双向门控循环单元（GRU）和线性时变状态空间模块（LTV-SSM）组成，以选择性地从前向和后向时间关系中捕捉上下文相关性。此外，利用Bina-rep作为紧凑的事件表示，并提出了一种量身定制的数据增强方法，称为Event-Cutout，通过对事件图像进行空间随机遮挡来增强模型的鲁棒性。在ThreeET-plus基准测试上的评估显示了MambaPupil的优异性能，它在CVPR'2024 AIS事件驱动眼动追踪挑战赛中获得了第一名。

本论文旨在解决事件相机眼动追踪中眼部定位的挑战，提出了一种双向长期序列建模和时变状态选择机制，以充分利用上下文时间信息。

本文提出了MambaPupil网络，包括多层卷积编码器、双向门控循环单元和线性时变状态空间模块，以选择性地捕捉前向和后向时间关系的上下文相关性。

本文采用Bina-rep作为紧凑的事件表示，并提出了一种名为Event-Cutout的定制数据增强方法，通过对事件图像进行空间随机遮挡来增强模型的稳健性。在ThreeET-plus基准测试上，MambaPupil表现优异，获得了CVPR'2024 AIS事件驱动眼动追踪挑战的第一名。

近期在这个领域中，还有一些相关的研究，例如“Event-based Eye Tracking with Spatiotemporal Attention Mechanism”和“Real-time Eye Tracking with Reinforcement Learning using an Event-based Camera”。