Enhancing Multi-modal Learning: Meta-learned Cross-modal Knowledge Distillation for Handling Missing Modalities

在多模态学习中，某些模态比其他模态更具影响力，它们的缺失可能会对分类/分割准确性产生重大影响。因此，一个重要的研究问题是：即使输入数据中缺少重要模态，训练的多模态模型是否可能具有高准确性。本文提出了一种新的方法，称为元学习交叉模态知识蒸馏(MCKD)，以解决这个研究问题。MCKD通过元学习过程自适应地估计每个模态的重要性权重。这些动态学习的模态重要性权重用于一对一的交叉模态知识蒸馏过程，将来自具有更高重要性权重的模态的知识转移到具有更低重要性权重的模态。这种交叉模态知识蒸馏产生了一个高度准确的模型，即使缺少重要模态。与该领域以前的方法不同，我们的方法旨在在多个任务(如分割和分类)中以最小的调整工作。在2018年脑肿瘤分割数据集(BraTS2018)和Audiovision-MNIST分类数据集上的实验结果表明，MCKD优于当前最先进的模型。特别是在BraTS2018中，我们在平均分割Dice分数方面实现了3.51%的增长，对于增强性肿瘤，肿瘤核心和整个肿瘤分别提高了2.19%和1.14%。

如何在缺失重要模态的情况下，训练多模态模型并保持高准确性？

提出一种元学习交叉模态知识蒸馏的方法（MCKD），通过元学习过程动态估计每个模态的重要性权重，并将这些动态学习到的模态重要性权重用于交叉模态知识蒸馏，从而使得即使缺失重要模态，也能够产生高度准确的模型。

该方法能够适应多个任务，且在Brain tumor Segmentation Dataset 2018 (BraTS2018)和Audiovision-MNIST分类数据集上实现了超越当前最先进模型的结果。在BraTS2018中，平均分割Dice分数的增加幅度分别为：增强型肿瘤（3.51％），肿瘤核（2.19％）和整个肿瘤（1.14％）。

在该领域的相关研究包括：1. Multi-Modal Learning with Unpaired Data；2. Cross-Modal Deep Metric Learning with Multi-task Regularization；3. Multi-modal Deep Learning with Application to Brain Tumor Segmentation。