MCAD: Multi-modal Conditioned Adversarial Diffusion Model for High-Quality PET Image Reconstruction

标准剂量正电子发射断层扫描（SPET）图像相关的辐射危害仍然是一个问题，而低剂量PET（LPET）图像的质量无法满足临床需求。因此，有很大兴趣从LPET图像重建SPET图像。然而，先前的研究仅关注图像数据，忽略了来自其他模态的重要补充信息，例如患者的临床表格，导致重建的诊断效用有限。此外，它们经常忽略真实SPET和重建图像之间的语义一致性，导致语义上下文扭曲。为了解决这些问题，我们提出了一种新的多模态条件对抗扩散模型（MCAD），从多模态输入（包括LPET图像和临床表格）中重建SPET图像。具体而言，我们的MCAD包括一个多模态条件编码器（Mc-Encoder）来提取多模态特征，随后是一个条件扩散过程，将噪声与多模态特征混合，并逐渐将混合特征映射到目标SPET图像。为了平衡多模态输入，Mc-Encoder嵌入了最优多模态传输共同关注（OMTA），以缩小图像和表格之间的异质性差距，同时捕捉它们之间的相互作用，为重建提供足够的指导。此外，为了减轻语义扭曲，我们引入了多模态掩蔽文本重建（M3TRec），它利用从去噪PET图像中提取的语义知识来恢复掩蔽的临床表格，从而迫使网络在重建过程中保持准确的语义。为了加快扩散过程，我们进一步引入了一个具有减少扩散步骤的对抗扩散网络。实验表明，我们的方法在定性和定量上均达到了最先进的性能。

论文旨在解决从低剂量PET图像和临床数据表中重建标准剂量正电子发射断层扫描图像的问题，以提高图像质量和诊断效果。

该论文提出了一种新的多模态条件对抗扩散模型（MCAD），利用多模态输入，包括LPET图像和临床数据表，通过条件扩散过程逐步将混合特征映射到目标SPET图像。为了平衡多模态输入，MCAD采用最优多模态运输协同注意力（OMTA）来缩小图像和表格之间的异质性差距，并捕捉它们之间的交互作用，提供重建的充分指导。同时，为了减轻语义扭曲，论文还引入了多模态掩蔽文本重建（M3TRec），利用从去噪PET图像中提取的语义知识来恢复掩蔽的临床数据表，从而使网络在重建过程中保持准确的语义。

论文的实验结果表明，该方法在定性和定量上均达到了最先进的性能。

近期的相关研究包括：1. “Multi-modal Data Fusion for PET and MRI Brain Imaging”；2. “Joint PET-MRI Reconstruction using Multi-channel Total Variation”；3. “Deep Learning for PET Image Reconstruction”等。