【知识蒸馏】基于知识蒸馏的不完全模态多模态学习 【论文标题】Multimodal Learning with Incomplete Modalities by Knowledge Distillation 【作者团队】 Qi Wang, Liang Zhan, Paul Thompson, Jiayu Zhou 【发表时间】2020/08 【论文链接】https://dl.acm.org/doi/pdf/10.1145/3394486.3403234 【推荐理由】 多模态学习是利用来自各种数据模式的信息提高模型的泛化能力。一个常见的方法是寻找不同学习的模态之间共享的信息，也可以融合一些补充的信息，对特定模式的信息加以利用。现有的多模态方法大多只能从模态完整的样本中学习，浪费了大量的数据。或者对于“残缺”数据，使用基于模型的方法对缺失值进行补全，但可能会引入噪声，特别是在样本容量有限的情况下。

图1:基于知识蒸馏的不完全模态多模态学习框架

本文提出了一个基于知识精馏的框架，能够利用所有模态信息进行互补，并有效避免缺失值和噪声的影响。具体地说，首先使用所有可用的数据在每个模态上独立地训练模型；然后用训练好的模型作为教师来教学生模型，学生模型是用模态完整的样本来训练得到。实验部分，作者在综合数据集和真实数据集中证明了所提出的方法的有效性。

内容中包含的图片若涉及版权问题，请及时与我们联系删除