Multimodal contrastive learning for spatial gene expression prediction using histology images

近年来，空间转录组学（ST）技术的出现为深入研究复杂生物系统内基因表达模式提供了前所未有的机会。尽管具有变革性的潜力，但ST技术的高昂成本仍然是其在大规模研究中广泛应用的重要障碍。一种替代的更具成本效益的策略是利用人工智能，使用用Hematoxylin和Eosin（H\&E）染色的易于获取的全幅图像（WSIs）预测基因表达水平。然而，现有方法尚未充分利用H＆E图像和具有空间位置的ST数据提供的多模式信息。在本文中，我们提出了一种名为\textbf{mclSTExp}的多模态对比学习方法，采用Transformer和Densenet-121编码器进行空间转录组学表达预测。我们将每个点概念化为一个“单词”，通过Transformer编码器的自我关注机制将其固有特征与空间上下文相结合。通过对比学习，进一步融合图像特征，从而增强了我们模型的预测能力。我们对\textbf{mclSTExp}在两个乳腺癌数据集和一个皮肤鳞状细胞癌数据集上进行了广泛评估，证明了其在预测空间基因表达方面的优越性能。此外，mclSTExp在解释癌症特异性过表达基因、阐明免疫相关基因和识别病理学家注释的专门空间域方面显示出了潜力。我们的源代码可在https://github.com/shizhiceng/mclSTExp上获得。

论文旨在通过使用多模态对比学习的Transformer和Densenet-121编码器预测基因表达水平，以解决空间转录组学技术的昂贵成本问题。

论文提出了一种名为mclSTExp的模型，将每个点视为一个“单词”，通过Transformer编码器的自我关注机制将其内在特征与空间上下文相结合。通过对比学习，还将图像特征纳入模型，从而提高了模型的预测能力。

mclSTExp在两个乳腺癌数据集和一个皮肤鳞状细胞癌数据集上的广泛评估表明其在预测空间基因表达方面具有优越性。此外，mclSTExp在阐明癌症特异性过表达基因、阐明免疫相关基因以及识别病理学家注释的特殊空间域方面表现出了潜力。该论文提供了开源代码。

最近的相关研究包括：1. “SpatialDE: identification of spatially variable genes”（空间可变基因的识别）；2. “Spatially resolved transcriptomics and beyond”（空间分辨率转录组学及其发展）。