MokA: Multimodal Low-Rank Adaptation for MLLMs

在本文中，我们揭示了当前大多数高效的多模态微调方法受到一个关键限制的阻碍：这些方法直接借鉴自大语言模型（LLM），常常忽视了多模态场景的内在差异，甚至影响了对所有模态的充分利用。受我们的实证观察启发，我们认为单模态适应和跨模态适应是有效微调多模态语言模型（MLLM）的两个核心组成部分。基于这一视角，我们提出了多模态低秩适应（MokA），这是一种考虑多模态特性的高效微调策略。MokA 通过模态特定参数压缩单模态信息，同时显式增强跨模态交互，从而确保单模态和跨模态的双重适应性。广泛的实验涵盖了三种具有代表性的多模态场景（视听-文本、视觉-文本和语音-文本），以及多个 LLM 主干模型（如 LLaMA2/3、Qwen2、Qwen2.5-VL 等）。一致的性能提升表明了所提出方法的有效性和通用性。我们还进行了消融研究和效率评估，以全面评估我们的方法。总体而言，我们认为 MokA 为 MLLM 的高效适应提供了一个更具针对性的解决方案，为进一步探索铺平了道路。项目页面位于 https://gewu-lab.github.io/MokA。

该论文试图解决当前多模态大模型（MLLMs）微调方法存在的局限性问题，即这些方法通常直接从语言大模型（LLMs）中借用，忽视了多模态场景的独特特性，可能导致无法充分利用所有模态信息。这是一个值得深入研究的问题，但并非全新的问题，因为已有研究开始关注多模态模型的高效微调。

论文提出了一种名为Multimodal low-rank Adaptation (MokA) 的多模态感知高效微调策略。其关键思路是将单模态适应和跨模态适应分开处理：通过模态特定参数压缩单模态信息，同时显式增强跨模态交互。这种方法不仅考虑了多模态数据的特性，还确保了单模态和跨模态的双重适应能力，相比现有方法更具针对性。

1. 实验覆盖了三种代表性多模态场景（视听文、图文、语音文），并测试了多个LLM骨干模型（如LLaMA2/3、Qwen2等），验证了方法的普适性和有效性；2. 提供了消融实验和效率评估，全面分析了方法的性能；3. 项目代码和页面已开源（https://gewu-lab.github.io/MokA），便于后续研究者复现和改进；4. 论文指出了未来可能的研究方向，例如更高效的多模态参数压缩技术。

近期相关研究包括：1.《LoRA: Low-Rank Adaptation of Large Language Models》提出了低秩分解思想用于LLMs的高效微调；2.《P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-Tuning》探索了提示微调作为替代方案；3.《MAGA: Modality-Aware Gradient Adjustment for Multimodal Learning》针对多模态学习中的梯度调整问题提出了新方法；4.《UniPerceiver2: Efficient and Unified Pretraining for Vision-Language Tasks》聚焦于视觉-语言任务的统一预训练框架。这些研究为MokA提供了理论基础和技术启发。