Using Deep Learning to Increase Eye-Tracking Robustness, Accuracy, and Precision in Virtual Reality

从移动设备和基于视频的眼动仪中估计注视方向的算法通常涉及跟踪眼睛的一个特征，该特征通过眼睛相机图像移动，其变化与移动的注视方向相协变，例如瞳孔的中心或边界。使用传统的计算机视觉技术跟踪这些特征可能会因为部分遮挡和环境反射而变得困难。虽然最近使用机器学习（ML）进行瞳孔跟踪的努力已经证明了在使用标准的分割性能度量进行评估时具有卓越的结果，但我们很少知道这些网络可能会如何影响最终注视估计的质量。本研究提供了对当今几种基于ML的眼部特征跟踪方法在使用基于特征或基于模型的方法产生后续注视估计时的影响的客观评估。指标包括注视估计的准确性和精度，以及掉帧率。

本文旨在客观评估几种当代基于机器学习的眼部特征跟踪方法对最终凝视估计质量的影响，并比较这些方法与传统计算机视觉技术的差异。

本文通过实验比较了基于特征的和基于模型的方法在使用不同的基于机器学习的眼部特征跟踪方法进行凝视估计时的准确性、精度和掉帧率等指标，并探讨了这些方法的优缺点。

本文使用了多个数据集进行实验，比较了不同方法在不同数据集上的表现。实验结果表明，基于机器学习的方法相对于传统计算机视觉技术在眼部特征跟踪上有更好的表现。但是，这些方法在一些情况下可能会导致凝视估计的精度下降，需要进一步研究和改进。

最近的相关研究包括《Eye Tracking for Everyone》、《Real-time eye tracking using convolutional neural networks》等。