Beyond Average: Individualized Visual Scanpath Prediction

了解个体之间注意力差异的情况对科学和社会有重要影响。然而，现有的视觉扫视模型将注意力视为一致，忽略了个体差异。为了弥补这一差距，本文聚焦于个性化扫视路径预测（ISP），这是一项新的注意力建模任务，旨在准确预测不同个体在各种视觉任务中如何转移他们的注意力。本文提出了一个ISP方法，具有三个新颖的技术组件：（1）观察者编码器，用于表征和整合观察者独特的注意力特征，（2）以观察者为中心的特征集成方法，全面地结合视觉特征、任务指导和观察者特定特征，以及（3）自适应注视优先机制，通过动态优先考虑基于个体观察者的注意力特征的语义特征图来细化扫视路径预测。这些新颖的组件使扫视路径模型能够有效地解决不同观察者之间的注意力变化。我们的方法通常适用于不同的数据集、模型架构和视觉任务，提供了一个全面的工具，将通用的扫视路径模型转化为个性化模型。使用基于价值和排名的度量方法进行全面评估，验证了该方法的有效性和普适性。

本论文旨在解决现有视觉扫描路径模型对注意力的统一处理，忽视个体差异的问题，提出一种个性化视觉扫描路径预测（ISP）方法，以准确预测不同个体在不同视觉任务中如何转移他们的注意力。

该论文提出了三个技术组件：观察者编码器、观察者中心特征集成方法和自适应注视优先机制，以有效地解决不同观察者之间的注意力变化。这些组件允许扫描路径模型有效地处理不同观察者之间的注意力变化。

论文提出的方法是通用的，可适用于不同的数据集、模型架构和视觉任务，为将通用扫描路径模型转化为个性化模型提供了全面的工具。实验结果表明，该方法具有良好的效果和通用性。

最近的相关研究包括：《Attention is All you Need》、《Learning to Predict Eye Fixations via Multiresolution Convolutional Neural Networks》等。