Scaling (Down) CLIP: A Comprehensive Analysis of Data, Architecture, and Training Strategies

本论文研究了当计算预算有限时，对比性语言-图像预训练（CLIP）的性能表现。我们从数据、架构和训练策略三个方面探讨了CLIP。关于数据，我们证明了高质量的训练数据的重要性，并表明一个较小但高质量的数据集可以胜过一个较大但低质量的数据集。我们还研究了不同数据集大小对模型性能的影响，建议较小的ViT模型更适合较小的数据集，而较大的模型在固定的计算资源下对较大的数据集表现更好。此外，我们提供了关于何时选择基于CNN的架构或基于ViT的架构进行CLIP训练的指导。我们比较了四种CLIP训练策略-SLIP、FLIP、CLIP和CLIP+数据增强，并表明训练策略的选择取决于可用的计算资源。我们的分析表明，CLIP+数据增强可以在仅使用一半的训练数据的情况下达到与CLIP相当的性能。本研究提供了关于如何有效地训练和部署CLIP模型的实用见解，使它们在各种应用中更加易于访问和负担得起。

本论文旨在研究当计算预算有限时，缩小比例的对比语言-图像预训练（CLIP）的性能。研究探讨了数据、架构和训练策略三个方面的CLIP。论文提出高质量的训练数据对于CLIP的性能至关重要，并展示了较小的高质量数据集可以胜过较大的低质量数据集。同时，论文也研究了不同数据集大小下模型性能的变化，建议在较小的数据集上使用较小的ViT模型，在固定计算资源的情况下，较大的模型在较大的数据集上表现更好。此外，论文提供了何时选择基于CNN架构或ViT架构进行CLIP训练的指导。论文比较了四种CLIP训练策略-SLIP、FLIP、CLIP和CLIP+数据增强，并表明训练策略的选择取决于可用的计算资源。分析结果表明，CLIP+数据增强可以在仅使用一半的训练数据时实现与CLIP相当的性能。本论文为有效训练和部署CLIP模型提供了实用的见解，使它们在各种应用中更加可访问和负担得起。

高质量的训练数据对于CLIP的性能至关重要。在较小的数据集上使用较小的ViT模型，在固定计算资源的情况下，较大的模型在较大的数据集上表现更好。CLIP+数据增强可以在仅使用一半的训练数据时实现与CLIP相当的性能。

论文比较了四种CLIP训练策略-SLIP、FLIP、CLIP和CLIP+数据增强，并表明训练策略的选择取决于可用的计算资源。分析结果表明，CLIP+数据增强可以在仅使用一半的训练数据时实现与CLIP相当的性能。论文提供了何时选择基于CNN架构或ViT架构进行CLIP训练的指导。实验使用了不同数据集，包括高质量数据集，有开源代码可供使用。值得继续深入研究。

最近在这个领域中，一些相关的研究包括：《ImageBERT: Cross-modal Pre-training with Large-scale Weak-supervised Image-Text Data》、《VisualBERT: A Simple and Performant Baseline for Vision and Language》、《UNITER: UNiversal Image-TExt Representation Learning》等。