MoVE-KD: Knowledge Distillation for VLMs with Mixture of Visual Encoders

视觉编码器是视觉-语言模型（VLMs）的基本组件，每个编码器都因其预训练的视觉基础模型不同而展现出独特的优势。为了充分利用这些编码器的能力，最近的研究在单一的VLM中引入了多个编码器，这导致了计算成本的显著增加。在本文中，我们提出了混合视觉编码器知识蒸馏（MoVE-KD），这是一种新颖的框架，可以将多个视觉编码器的独特能力蒸馏到一个高效且单一的编码器模型中。具体来说，为了减少冲突并保留每个教师编码器的独特特性，我们采用了低秩适应（LoRA）和专家混合（MoEs）的方法，根据输入特征有选择地激活专门的知识，从而提高适应性和效率。为了规范知识蒸馏（KD）过程并提升性能，我们提出了一种基于注意力机制的知识蒸馏策略，该策略自适应地权衡不同的视觉编码器，并强调有价值的视觉标记，减轻了从多个教师复制全面但独特特征的负担。在诸如LLaVA和LLaVA-NeXT等流行的VLM上的广泛实验验证了我们方法的有效性。代码将会公开发布。

该论文试图解决多视觉编码器在视觉-语言模型（VLMs）中集成时导致的计算成本大幅增加的问题。这是通过将多个视觉编码器的知识整合到一个高效编码器中来实现的，这并不是一个全新的问题，但该方法提出了新的解决方案。

关键思路是提出Mixture-of-Visual-Encoder Knowledge Distillation (MoVE-KD)框架，利用低秩适应（LoRA）和专家混合（MoEs）技术，在保留每个教师编码器独特特征的同时，选择性地激活特定输入特征的专门知识。此外，采用基于注意力的蒸馏策略来优化知识转移过程，强调有价值的视觉标记，从而提高效率并减少计算负担。这一思路在多编码器融合方面具有创新性。

论文的亮点包括：1. 使用低秩适应和专家混合技术有效融合多个视觉编码器的能力；2. 引入基于注意力机制的蒸馏策略以增强性能；3. 在LLaVA和LLaVA-NeXT等流行VLM上的实验验证了方法的有效性；4. 计划开源代码，为后续研究提供支持。未来值得继续深入研究的方向包括进一步优化MoE结构以及探索更多样化的视觉编码器组合。

近期相关研究包括：《Vision-Language Pre-training: From CLIP to Chinese-CLIP》探讨了跨语言视觉-文本预训练模型；《Adaptive Attention for Vision-Language Models》研究了自适应注意力机制对VLM的影响；《Efficient Visual Encoder Fusion in VLMs》讨论了不同视觉编码器融合的方法。