Simultaneous Tri-Modal Medical Image Fusion and Super-Resolution using Conditional Diffusion Model

在临床实践中，与现有的双模态技术相比，三模态医学图像融合可以提供更全面的病变视图，帮助医生评估疾病的形状、位置和生物活性。然而，由于成像设备的限制和对患者安全的考虑，医学图像的质量通常受到限制，导致次优的融合性能，并影响医生对图像的深度分析。因此，迫切需要一种技术，既可以增强图像分辨率，又可以集成多模态信息。虽然当前的图像处理方法可以有效地解决图像融合和超分辨率问题，但同时解决这两个问题仍然极具挑战性。在本文中，我们提出了TFS-Diff，一种同时实现三模态医学图像融合和超分辨率的模型。特别地，TFS-Diff基于随机迭代去噪过程的扩散模型生成。我们还开发了一个简单的目标函数和所提出的融合超分辨率损失，有效地评估了融合中的不确定性，并确保了优化过程的稳定性。并且，我们提出了通道注意力模块，可以有效地集成来自不同模态的关键信息，以进行临床诊断，避免多次图像处理导致的信息丢失。在公共的哈佛数据集上进行的大量实验表明，TFS-Diff在定量和视觉评估方面都显著优于现有的最先进方法。源代码将在GitHub上提供。

本论文旨在解决医学图像融合和超分辨率同时进行的问题，以提高医生对病变的评估能力。

TFS-Diff是一种基于扩散模型生成的随机迭代去噪过程的模型，旨在同时实现三种模态的医学图像融合和超分辨率。该模型采用通道注意力机制，有效地整合来自不同模态的关键信息，避免了多次图像处理导致的信息丢失。

论文在公共哈佛数据集上进行了大量实验，结果表明TFS-Diff在定量和视觉评估方面都显著优于现有的最先进方法。此外，作者还提供了开源代码。

在这个领域中，最近的相关研究包括：1. Multi-modal medical image fusion using deep neural networks; 2. A novel deep learning-based method for multi-modal MRI brain image fusion; 3. Multi-modal medical image fusion using non-negative matrix factorization.