Multimodal Fusion on Low-quality Data: A Comprehensive Survey

多模态融合旨在整合多个模态的信息，以实现更准确的预测，在自动驾驶和医疗诊断等广泛场景中取得了显著进展。然而，在低质量数据环境下，多模态融合的可靠性仍然未被充分探索。本文综述了多模态融合在实际场景中的常见挑战和最新进展，并以综合分类的方式进行了介绍。从数据中心的角度出发，我们确定了多模态融合在低质量数据上面临的四个主要挑战，分别是：（1）噪声多模态数据，受异质噪声污染；（2）不完整的多模态数据，一些模态缺失；（3）不平衡的多模态数据，不同模态的质量或属性显著不同；（4）质量变化的多模态数据，每个模态的质量随不同样本而动态变化。这个新的分类法将使研究人员了解该领域的现状，并确定几个潜在的方向。我们还提供了对该领域中的开放性问题的讨论，以及有趣的未来研究方向。

本论文旨在探讨多模态融合在低质量数据环境下的可靠性问题，包括噪声、不完整、不平衡和质量变化等四个方面。

论文提出了一种新的综合分类方法，以数据为中心，对多模态融合的挑战和解决方案进行了全面的分析和总结。

论文提供了多个实验案例和开源数据集，讨论了当前多模态融合领域的开放问题和未来研究方向，具有很高的参考价值。

近期的相关研究包括：《Multimodal Data Fusion: A Review of State-of-the-Art Techniques》、《A Survey of Multimodal Fusion for Multimedia Analysis》等。