Leveraging Transformers to Improve Breast Cancer Classification and Risk Assessment with Multi-modal and Longitudinal Data

本研究旨在利用神经网络模型Multi-modal Transformer (MMT)将乳腺癌筛查中常用的乳腺X线摄影和超声相结合，以识别目前患有癌症的患者并估计目前无癌症患者未来罹患癌症的风险。MMT通过自我关注聚合多模态数据，并通过比较当前检查和先前成像来跟踪时间性组织变化。在130万个检查的训练下，MMT在检测现有癌症方面实现了0.943的AUROC，超过了强大的单模态基线。对于5年风险预测，MMT实现了0.826的AUROC，优于之前基于乳腺X线摄影的风险模型。我们的研究凸显了多模态和长期成像在癌症诊断和风险分层中的价值。

本论文旨在通过利用乳腺X线摄影和超声波成像的多模态数据来识别当前患有癌症的患者，并估计目前没有癌症的患者未来癌症的风险。这是否是一个新问题？

论文提出了一种名为Multi-modal Transformer（MMT）的神经网络，通过自我关注机制聚合多模态数据，并通过比较当前检查和先前成像来跟踪时间组织变化。相比当前领域的研究状况，这篇论文的思路是结合多模态和纵向成像来进行癌症诊断和风险分层，具有新意。

论文使用了130万个检查数据集进行训练，MMT在检测现有癌症方面达到0.943的AUROC，超过了强的单模态基线。在5年风险预测方面，MMT达到了0.826的AUROC，优于之前基于乳腺X线摄影的风险模型。本研究强调了多模态和纵向成像在癌症诊断和风险分层中的价值。

在这个领域的最近相关研究包括：1. 'Breast Cancer Risk Assessment Using Scalable Probabilistic Deep Learning Networks'；2. 'Deep learning for breast cancer diagnosis from mammograms - a comparative study'；3. 'Breast cancer detection using deep convolutional neural networks and support vector machines'。