Multimodal Representation Learning by Alternating Unimodal Adaptation

多模态学习在人工智能中起着重要作用，它整合了来自不同感官模式的数据。然而，现有的多模态学习方法经常面临挑战，其中在多模态学习过程中，一些模态比其他模态更为显著，导致性能不佳。为了解决这个挑战，我们提出了 MLA（交替单模态适应的多模态学习）。MLA通过将传统的联合多模态学习过程转化为交替单模态学习过程来重新定义多模态学习，从而最小化模态之间的干扰。同时，它通过共享头捕获跨模态交互，该头在不同模态之间进行连续优化。这个优化过程由梯度修改机制控制，以防止共享头丢失先前获得的信息。在推断阶段，MLA利用基于测试时不确定性的模型融合机制来集成多模态信息。我们在包含完整模态和缺失模态情况的五个不同数据集上进行了大量实验。这些实验证明了 MLA 相对于竞争先前方法的优越性。

论文试图解决多模态学习中一些模态占主导地位导致性能不佳的问题。这是一个既有的问题。

论文提出了一种新的多模态学习方法，称为MLA，通过将传统的联合多模态学习过程转化为交替的单模态学习过程来解决问题，从而最小化模态之间的干扰。同时，它通过一个共享头捕获跨模态交互，并通过梯度修改机制控制优化过程，防止共享头丢失先前获取的信息。在推理阶段，MLA利用基于不确定性的模型融合机制来整合多模态信息。

论文在五个不同的数据集上进行了广泛的实验，涵盖了完整模态和缺失模态的情况。实验结果表明，MLA优于竞争对手的先前方法。值得注意的是，论文还提出了一种新的测试时间不确定性模型融合机制。

最近在这个领域中，还有一些相关的研究被进行。例如，'Learning Cross-Modal Deep Representations for Robust Pedestrian Detection'和'Cross-Modal Subspace Learning for Multi-Modal Person Identification'等。