Multimodal Information Interaction for Medical Image Segmentation

在辅助诊断和分割中使用多模态数据已成为当前研究中备受关注的领域。然而，主要挑战之一是如何有效地融合多模态特征。大多数现有方法都集中在集成多模态特征上，而忽略了不同模态特征之间的相关性和一致性，导致可能包含不相关的信息。为了解决这个问题，我们引入了一种创新的多模态信息交叉Transformer（MicFormer），它采用双流体系结构同时从每个模态中提取特征。利用交叉Transformer，它从一种模态中查询特征，并从另一种模态中检索相应的响应，促进双模态特征之间的有效通信。此外，我们还采用了可变形Transformer架构来扩展搜索空间。我们在MM-WHS数据集上进行了实验，并在CT-MRI多模态图像分割任务中成功将整个心脏分割DICE分数提高到85.57，MIoU为75.51。与其他多模态分割技术相比，我们的方法分别超出了2.83和4.23的边际。这证明了MicFormer在集成不同模态之间的相关信息方面的有效性。这些发现对于多模态图像任务具有重要意义，我们相信MicFormer在各个领域具有广泛的应用潜力。我们的方法可在https://github.com/fxxJuses/MICFormer上获得。

如何有效地融合多模态特征是当前辅助诊断和分割研究中的一个主要挑战。

本文提出了一种创新的多模态信息交叉变换器（MicFormer）来解决特征融合的问题。该模型采用双流架构同时从每种模态提取特征，并利用交叉变换器从一种模态查询特征并从另一种模态检索相应的响应，以促进双模态特征之间的有效通信。

本文在MM-WHS数据集上进行了实验，成功将整个心脏分割的DICE分数提高至85.57，MIoU提高至75.51。与其他多模态分割技术相比，本方法分别提高了2.83和4.23个百分点。此外，本文提供了开源代码。

在最近的研究中，也有一些关于多模态特征融合的研究，如《A Survey on Multi-modal Medical Image Fusion》和《A Review of Multi-Modal Medical Image Registration》等。