DrFuse: Learning Disentangled Representation for Clinical Multi-Modal Fusion with Missing Modality and Modal Inconsistency

将电子病历（EHR）和医学影像相结合对于临床医生进行诊断和预测预后至关重要。将这两种数据模态战略性地融合具有巨大的潜力，可以提高机器学习模型在临床预测任务中的准确性。然而，EHR和医学影像的异步和互补性质提出了独特的挑战。由于临床和行政因素，缺少模态在实践中是不可避免的，而每种数据模态的重要性取决于患者和预测目标，导致不一致的预测和次优的模型性能。为了解决这些挑战，我们提出了DrFuse来实现有效的临床多模态融合。它通过解开跨模态共享的特征和每个模态内部独特特征之间的联系来解决缺失模态问题。此外，我们通过疾病关注层来解决模态不一致问题，该层为每种模态产生患者和疾病权重，以进行最终预测。我们使用真实的大规模数据集MIMIC-IV和MIMIC-CXR验证了所提出的方法。实验结果表明，所提出的方法显著优于最先进的模型。我们的实现可以在https://github.com/dorothy-yao/drfuse上公开获取。

论文旨在解决EHR和医学影像之间的异步性和互补性带来的挑战，提出了DrFuse方法来实现有效的临床多模态融合，以提高机器学习模型在临床预测任务中的准确性。

DrFuse方法通过将跨模态共享的特征和每个模态内部独特的特征分离来解决缺失模态的问题。此外，使用疾病关注层来产生每种模态的患者和疾病加权，以进行最终预测，从而解决了模态不一致性问题。

论文使用真实世界的大规模数据集MIMIC-IV和MIMIC-CXR进行验证，实验结果表明，DrFuse方法显著优于现有的最先进模型。该方法的实现已在Github上公开。

在这个领域中，最近的相关研究包括“ Multi-modal medical image fusion using a two-stage generative adversarial network”和“Multi-modal medical image fusion using convolutional neural network and dictionary learning”。