Scaling (Down) CLIP: A Comprehensive Analysis of Data, Architecture, and Training Strategies

本文研究了当Contrastive Language-Image Pre-training（CLIP）在计算资源受限的情况下缩小规模时的性能。我们从数据、架构和训练策略三个方面探讨了CLIP。关于数据，我们展示了高质量训练数据的重要性，并表明高质量的小型数据集可以胜过低质量的大型数据集。我们还研究了模型性能如何随着不同数据集大小而变化，建议对于小型数据集，较小的ViT模型更适合，而对于较大的数据集，较大的模型在计算资源固定的情况下表现更好。此外，我们提供了有关在CLIP训练中何时选择基于CNN的架构或基于ViT的架构的指导。我们比较了四种CLIP训练策略——SLIP、FLIP、CLIP和CLIP+数据增强，并表明选择训练策略取决于可用的计算资源。我们的分析表明，CLIP+数据增强可以使用仅一半的训练数据达到与CLIP相当的性能。本研究提供了有关如何有效地训练和部署CLIP模型的实用见解，使其在各种应用中更易于访问和负担得起。

本文研究了在计算资源有限的情况下，将对比语言-图像预训练（CLIP）进行缩小规模的性能。研究探索了CLIP在数据、架构和训练策略三个维度上的表现。

本文提供了一些实用的见解，包括高质量训练数据的重要性、不同数据集大小的影响、CNN和ViT架构的选择、不同的训练策略以及如何有效地训练和部署CLIP模型。

实验表明，高质量数据集的规模可以比低质量数据集更小，但表现更好。对于小数据集，较小的ViT模型比较大的模型更适合，而对于固定计算资源的大数据集，较大的模型表现更好。本文还比较了四种CLIP训练策略，发现选择哪种策略取决于可用的计算资源。CLIP+数据增强可以使用一半的训练数据实现与CLIP相当的性能。

最近的相关研究包括：《An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale》、《VisualBERT: A Simple and Performant Baseline for Vision and Language》等。