Predictive Dynamic Fusion

多模态融合对于联合决策系统来说是至关重要的，以便做出全面的判断。由于多模态数据在开放环境中会发生变化，动态融合已经出现并在许多应用中取得了显著的进展。然而，大多数现有的动态多模态融合方法缺乏理论保证，并容易陷入次优问题，导致不可靠和不稳定。为了解决这个问题，我们提出了一种用于多模态学习的预测动态融合(PDF)框架。我们从泛化的角度揭示多模态融合，并从理论上推导出可预测的合作信念(Co-Belief)，包括单一和全局置信度，可以证明减少泛化误差的上界。因此，我们进一步提出了一种相对校准策略，以校准预测的Co-Belief，以处理潜在的不确定性。在多个基准测试中进行的广泛实验证实了我们的优越性。我们的代码可在https://github.com/Yinan-Xia/PDF上获得。

提出了一个名为Predictive Dynamic Fusion(PDF)的多模态学习框架，旨在解决动态多模态融合方法缺乏理论保证且容易出现次优问题的问题。

从泛化的角度揭示多模态融合，并理论上推导出可预测的Collaborative Belief (Co-Belief) with Mono- and Holo-Confidence，该方法可证明减少泛化误差的上限。进一步提出相对校准策略以校准预测的Co-Belief，以应对潜在的不确定性。

实验结果表明该方法的优越性，代码已经开源。

近期的相关研究包括：1. Multimodal Fusion with Recurrent Neural Networks for Rumor Detection on Microblogs；2. A Survey of Multimodal Machine Learning；3. Dynamic Multimodal Fusion: A Survey