EyeFormer: Predicting Personalized Scanpaths with Transformer-Guided Reinforcement Learning

从视觉感知的角度来看，现代图形用户界面（GUI）由文本、图像和交互对象（如按钮和菜单）组成的复杂、图形丰富的二维视觉空间排列。虽然现有的模型可以准确地预测平均吸引注意力的区域和对象，但到目前为止还没有一种扫描路径模型能够预测个体的扫描路径。为了弥补这一差距，我们引入了EyeFormer，它利用Transformer架构作为策略网络，引导深度强化学习算法来控制注视位置。我们的模型具有独特的能力，可以在给定少量用户扫描路径样本的情况下产生个性化的预测。它可以跨个体和各种刺激类型预测完整的扫描路径信息，包括注视位置和持续时间。此外，我们展示了GUI布局优化驱动我们模型的应用。我们的软件和模型将公开提供。

EyeFormer试图解决个性化预测用户扫描路径的问题，以及在GUI布局优化中的应用。

EyeFormer使用Transformer架构作为策略网络，利用深度强化学习算法控制注视位置，可以根据少量用户扫描路径样本生成个性化预测，包括注视位置和持续时间。

EyeFormer可以用于GUI布局优化，实验使用了多个数据集并提供了开源代码。

最近的相关研究包括使用深度学习进行注视预测的其他模型，如DeepGaze和SalGAN。