Synergy and Diversity in CLIP: Enhancing Performance Through Adaptive Backbone Ensembling

本文探讨了使用对比语言图像预训练（CLIP）训练的不同视觉骨干网络之间的差异。尽管这些网络使用相同的数据和训练目标，但我们发现它们具有明显不同的表示形式，在不同数据集上的分类性能不同，并且对某些类型的图像扰动具有不同的鲁棒性。我们的发现表明，通过利用它们各自的优势，可能会在骨干网络之间产生显着的协同效应。原则上，通过选择最佳的骨干网络，每个测试示例的分类准确性可以提高超过40％。基于这一发现，我们开发了一种简单而强大的方法来自适应地集成多个骨干网络。该方法使用每个类别仅一个标记示例来调整骨干网络的自适应组合。在大量数据集上，该方法的准确性显著提高，最高可达39.1％，远高于传统集成方法。

探索不同的CLIP训练视觉骨干网络之间的差异，以及如何利用它们的优势进行自适应集成，从而提高图像分类准确性。

使用相同的数据和训练目标，研究发现不同的视觉骨干网络具有显着不同的表示形式、在数据集上的分类性能以及对某些类型的图像扰动的不同鲁棒性属性。通过选择最佳的骨干网络来进行自适应集成，可以提高分类准确率超过40个百分点。

论文使用了CLIP训练的多种视觉骨干网络进行实验，并开发了一种简单而强大的方法来自适应地集成多个骨干网络。该方法只需使用每个类别的一个标记示例来调整骨干网络的自适应组合。实验结果表明，该方法在多个数据集上实现了显著的准确性提高，超过最佳单个骨干网络的39.1％。

与最近的相关研究相比，本论文提出了一种新的方法来利用不同的视觉骨干网络之间的优势进行自适应集成。相关研究包括使用CLIP进行图像分类的其他工作，以及使用多个模型进行集成的其他技术。