PaLM2-VAdapter: Progressively Aligned Language Model Makes a Strong Vision-language Adapter

本文表明，渐进式对齐语言模型可以有效地连接冻结的视觉编码器和大型语言模型。虽然视觉编码器和大型语言模型的基本架构和预训练方法已经得到广泛研究，但是视觉-语言适配器的架构和训练策略在最近的研究中有很大的差异。我们的研究对最先进的感知重采样器架构进行了全面的探索，并建立了一个强大的基线。然而，我们观察到，感知器重采样器的视觉-语言对齐表现出缓慢的收敛和有限的可扩展性，缺乏直接监督。为了解决这个问题，我们提出了PaLM2-VAdapter，采用渐进式对齐语言模型作为视觉-语言适配器。与使用感知器重采样器的强大基线相比，我们的方法在实践中表现出更快的收敛速度、更高的性能和更强的可扩展性。在各种图像和视频的视觉问答和字幕任务上进行了大量实验，证明了我们的模型具有最先进的视觉理解和多模态推理能力。值得注意的是，我们的方法在比最先进的大型视觉-语言模型少30~70%的参数下实现了这些进步，标志着显著的效率提高。

本文旨在探讨如何有效地将视觉编码器和大型语言模型进行融合，以实现视觉理解和多模态推理。

本文提出了一种渐进式对齐语言模型作为视觉-语言适配器的方法，以提高模型的收敛速度、性能和可扩展性。相较于现有的方法，该方法具有更高的效率和更少的参数。

本文的方法在多个视觉问答和字幕任务中表现出了最先进的视觉理解和多模态推理能力。此外，该方法使用的参数比现有的大型视觉-语言模型少30~70%，具有更高的效率。

近期的相关研究包括：《Unified Vision-Language Pre-Training for Image Captioning and VQA》、《LXMERT: Learning Cross-Modality Encoder Representations from Transformers》等。