Learning Modality Knowledge Alignment for Cross-Modality Transfer

跨模态传递旨在利用大型预训练模型完成可能不属于预训练数据模态的任务。现有的工作在将经典的微调扩展到跨模态场景方面取得了一定的成功，但我们仍然缺乏对模态差异对传递的影响的理解。在这项工作中，进行了一系列关注传递过程中源表示质量的实验，揭示了更大的模态差距与更少的知识重用之间的联系，这意味着无效的传递。然后，我们使用条件分布P（Y | X）将差距形式化为模态之间的知识不匹配。针对这个问题，我们提出了Modality kNowledge Alignment（MoNA），这是一种元学习方法，它学习目标数据转换以减少传递之前的模态知识差异。实验证明，我们的方法使得在跨模态传递中更好地重用源模态知识，这导致了比现有微调方法更好的改进。

本文试图解决跨模态转移中模态差异对知识重用的影响问题，并提出了一个元学习方法来降低模态知识差异。

本文提出了一个元学习方法，称为MoNA，它可以学习目标数据的转换，以减少跨模态转移中的模态知识差异，从而提高源模态知识的重用。

实验结果表明，MoNA方法可以使跨模态转移中的源模态知识更好地重用，从而提高了现有微调方法的性能。

最近的相关研究包括：1. Cross-Modal预训练模型的使用；2. 跨模态学习的微调方法。