Dealing with All-stage Missing Modality: Towards A Universal Model with Robust Reconstruction and Personalization

解决多模态学习中缺失模态的问题是一个关键挑战。目前的方法集中于开发能够在推理过程中处理模态不完整输入的模型，假设在训练过程中所有数据都有完整的模态。这种对完整模态数据的依赖限制了在实际应用中经常遇到的大量模态不完整样本的使用。本文提出了一个具有模态重建和模型个性化的鲁棒通用模型，可以有效地处理训练和测试阶段的缺失模态。我们的方法利用多模态掩蔽自编码器同时重建缺失模态和掩蔽补丁，采用创新的分布逼近机制充分利用模态完整和模态不完整数据。重建的模态然后有助于我们设计的数据-模型共同蒸馏方案，以指导在存在缺失模态的情况下的模型学习。此外，我们提出了一个基于CLIP的超网络来个性化部分模型参数，使模型适应每个不同的缺失模态场景。我们的方法在两个脑肿瘤分割基准上得到了广泛的验证。实验结果表明，我们的方法表现出色，始终在不同缺失比例的所有阶段缺失模态设置下超过以前的最先进方法。代码将会公开。

本论文旨在解决多模态学习中缺失模态的问题。当前的方法在推理过程中处理模态不完整的输入，假设在训练期间所有数据都具有完整的模态，这限制了在实际场景中遇到的大量模态不完整的样本的使用。

本论文提出了一个具有模态重建和模型个性化的鲁棒通用模型，可以有效地处理训练和测试阶段的缺失模态。该方法利用多模态掩码自编码器同时重建缺失的模态和掩码补丁，采用创新的分布近似机制充分利用完整和不完整的数据。然后，重建的模态有助于我们设计的数据-模型共同蒸馏方案，以指导模型在缺失模态的情况下学习。此外，我们提出了一个CLIP驱动的超网络来个性化部分模型参数，使模型能够适应每个不同的缺失模态场景。

论文在两个脑肿瘤分割基准测试上进行了广泛验证。实验结果表明，我们的方法在不同缺失比例的所有阶段缺失模态设置下始终优于以前的最先进方法。代码将会公开。

最近还有一些相关研究。例如，'Multimodal Learning with Missing Modalities via Cross-modal Interaction Networks'、'Improving Multimodal Learning with Missing Modalities via Latent Space Information Maximization'等。