Diagnosing and Re-learning for Balanced Multimodal Learning

为了克服多模态学习中存在的不平衡问题，即模型倾向于训练特定模态，现有方法提出了从不同角度控制单模态编码器训练的方法，以模态间性能差异为基础。然而，忽略了模态容量的固有限制。信息稀缺的模态可能被认为是“学得更差”的模态，这可能会迫使模型记忆更多的噪声，反而影响多模态模型的能力。此外，当前的模态调节方法狭窄地集中在选定的学得更差的模态上，甚至抑制其他模态的训练。因此，在平衡模态时考虑模态容量的固有限制并考虑所有模态是至关重要的。为此，我们提出了“诊断与重新学习”方法。首先基于单模态表示空间的可分离性估计每个模态的学习状态，然后用于软重置相应的单模态编码器。通过这种方式，避免了对信息稀缺模态的过度强调。此外，增强了学习更差的模态的编码器，同时避免了其他模态的过度训练。因此，实现了有效平衡和增强多模态学习。覆盖多种类型的模态和多模态框架的实验证明了我们简单而有效的方法在平衡多模态学习方面的优越性能。源代码和数据集可在\url{https://github.com/GeWu-Lab/Diagnosing_Relearning_ECCV2024}上获得。

本论文旨在解决多模态学习中存在的不平衡问题，即模型偏好于训练特定的模态，而忽略了模态容量的内在限制。

该论文提出了一种诊断和重新学习的方法，通过评估每个模态的学习状态，软重置相应的单模态编码器，避免了对信息稀缺模态的过度强调，同时增强了较差学习模态的编码器，从而有效地平衡和增强了多模态学习。

该方法在多种类型的模态和多模态框架下进行了实验，证明了其优越性能。论文提供了源代码和数据集。

在该领域的相关研究中，已有的方法主要集中于控制不同单模态编码器的训练，而忽略了模态容量的内在限制。