Enhanced Self-supervised Learning for Multi-modality MRI Segmentation and Classification: A Novel Approach Avoiding Model Collapse

多模式磁共振成像（MRI）可为计算机辅助诊断提供补充信息。传统的深度学习算法适用于识别特定解剖结构、分割病变和分类疾病的磁共振图像。然而，由于高昂的费用，手动标签受到限制，这阻碍了模型精度的进一步提高。自监督学习（SSL）可以通过预训练有效地从未标记的数据中学习特征表示，并被证明对自然图像分析有效。大多数SSL方法忽略了多模式MRI的相似性，导致模型崩溃。这限制了预训练的效率，导致下游分割和分类任务的精度较低。为了解决这一挑战，我们建立并验证了一个多模式MRI掩蔽自编码器，包括混合掩蔽模式（HMP）和金字塔Barlow双胞胎（PBT）模块，用于多模式MRI分析的SSL。HMP通过连接三个掩蔽步骤，强制SSL通过重建掩蔽补丁来学习多模式图像的语义连接。我们已经证明了所提出的HMP可以避免模型崩溃。PBT模块利用网络的金字塔层次结构，在潜在空间中构建掩蔽和原始视图之间的Barlow双胞胎损失，对不同视觉尺度的图像补丁的语义表示进行对齐。在BraTS2023、PI-CAI和肺气MRI数据集上的实验进一步证明了我们框架的优越性。分割和分类的性能得到了大幅提高，支持小病变区域的准确检测。代码可在https://github.com/LinxuanHan/M2-MAE上获得。

该论文旨在解决多模态MRI分析中自监督学习（SSL）的挑战，即如何有效地从未标记数据中学习特征表示，以提高模型在分割和分类任务中的准确性。

论文提出了一种基于多模态MRI掩蔽自编码器的SSL框架，该框架包括混合掩蔽模式（HMP）和金字塔Barlow双（PBT）模块，用于学习多模态MRI的语义连接和构建不同视觉尺度下的语义表示。

论文的实验结果表明，该框架在BraTS2023、PI-CAI和肺气MRI数据集上的表现优于现有的SSL方法。该框架能够提高分割和分类的性能，支持对小病变区域的准确检测。论文提供了开源代码。

最近在这个领域中，还有一些相关的研究，如“Multi-Modal MRI Brain Tumor Segmentation Using 3D Deep Convolutional Neural Networks”和“Multi-modal MRI Brain Tumor Segmentation Using Convolutional Neural Networks with Non-local Attention and Dynamic Input Shapes”。