Multimodal Learning and Cognitive Processes in Radiology: MedGaze for Chest X-ray Scanpath Prediction

在计算机视觉中预测人类注视行为对于开发能够预测用户注意力的交互式系统、解决认知科学中的基本问题以及对人机交互（HCI）和增强/虚拟现实（AR / VR）系统等领域具有影响至关重要。尽管已经引入了用于建模人类眼睛注视行为的方法，但将这些模型应用于医学成像以进行扫描路径预测尚未得到探索。我们提出的系统旨在预测来自放射学报告和胸部X线片的眼睛注视序列，可能简化数据收集并增强使用更大数据集的人工智能系统。然而，在医学图像上预测人类扫描路径面临着独特的挑战，因为异常区域的性质多种多样。我们的模型预测了医学扫描路径预测所必需的注视坐标和持续时间，优于计算机视觉社区中现有的模型。通过利用两阶段培训过程和大型公开可用数据集，我们的方法生成了与放射学报告对齐的静态热图和眼睛注视视频，便于全面分析。我们通过将其性能与最先进的方法进行比较并评估其在不同放射科医生中的普适性来验证我们的方法，引入了新的策略来模拟放射科医生在CXR图像诊断期间的搜索模式。根据放射科医生的评估，MedGaze可以在CXR图像上生成具有高度关注相关区域的类人注视序列。它有时在扫描路径的冗余性和随机性方面也优于人类。

预测医学图像的人类注视路径，以提高医学图像分析的效率和精度。

利用人类注视路径模型预测医学图像的注视点和注视时间，通过两阶段训练和大型公开数据集，生成与放射学报告对齐的静态热图和注视视频，提高医学图像分析的效率和精度。

论文提出的MedGaze模型在医学图像分析中表现出色，甚至有时优于人类的注视路径。论文使用大量公开数据集进行实验，并提出了模拟放射科医生的搜索模式的新策略。此外，论文提供了代码和数据集，以便其他研究人员进行进一步研究。

最近的相关研究包括：'Eye Tracking for Medical Applications: State-of-the-Art and Novel Findings'，'Predicting Eye Fixations on Medical Images using Convolutional Neural Networks'，'Eye Tracking in Medical Education: A Scoping Review'等。