Multimodal Fusion on Low-quality Data: A Comprehensive Survey

多模态融合的重点在于整合来自多个模态的信息，以实现更准确的预测，在自动驾驶和医学诊断等各种场景中取得了显著的进展。然而，在低质量数据环境下，多模态融合的可靠性仍然未被充分探索。本文对野外多模态融合的常见挑战和最新进展进行了综述，并以全面的分类方式呈现。从数据中心的角度出发，我们确定了四个主要挑战，即（1）混杂了异质性噪声的嘈杂多模态数据，（2）缺少某些模态的不完整多模态数据，（3）质量或属性显著不同的不平衡多模态数据，以及（4）质量变化的多模态数据，即每种模态的质量随不同样本而动态变化。这种新的分类方式将使研究人员了解该领域的现状，并确定几个潜在的方向。我们还提供了对该领域中的未解决问题的讨论，以及有趣的未来研究方向。

本篇论文旨在探讨多模态融合在低质量数据下的可靠性问题，提出了四个挑战：噪声、不完整、不平衡和质量变化，以及未来研究方向。

论文提出了一种全面的分类法，以数据为中心，对多模态融合在低质量数据下的挑战和最新进展进行了总结和分析。

论文提供了实验设计和使用的数据集，讨论了开放问题和未来研究方向。

近期的相关研究包括：Multimodal Learning and Reasoning for Visual Question Answering, Multimodal Deep Learning for Activity and Context Recognition, Multimodal Sentiment Analysis: A Survey