FastCLIP: A Suite of Optimization Techniques to Accelerate CLIP Training with Limited Resources

现有的对大规模数据进行训练最先进的对比式语言-图像预训练（CLIP）模型的研究需要数百甚至上千个GPU，因为需要大的批量大小。然而，这么多的资源对大多数人来说是不可获得的。虽然已经证明了优化全局对比损失的先进组合优化技术可以有效地消除大批量大小的要求，但它们在大规模数据上的性能仍未得到充分探索和优化。为了弥合这一差距，本文探讨了使用有限资源（例如，最多几十个GPU）进行CLIP训练的几个方面。首先，我们介绍了FastCLIP，这是一个基于先进的组合优化技术构建的通用CLIP训练框架，同时设计和优化了分布式设置。我们的框架配备了一种高效的梯度减少策略，以减少通信开销。其次，为了进一步提高训练效率，我们从优化的角度研究了框架的三个组成部分：内部学习率的调度、温度参数和模型参数的更新规则。针对每个组件的不同策略的实验揭示了如何更有效地进行CLIP训练。最后，我们在不同的计算规模（最多32个GPU和8个节点）和三个数据规模（分别为270万、910万和3.15亿张图像-文本对）上对FastCLIP和最先进的训练基线（OpenCLIP）的性能进行了基准测试，以展示FastCLIP在资源有限的情况下的显著改进。我们在https://github.com/Optimization-AI/fast_clip上发布了FastCLIP的代码。

本论文旨在探索使用有限资源（例如最多数十个GPU）进行Contrastive Language-Image Pretraining (CLIP)模型训练的方法，并提出一种名为FastCLIP的框架来解决这个问题。

FastCLIP是一种基于先进的组合优化技术构建的CLIP训练框架，旨在优化分布式环境下的训练效率。该框架配备了一种高效的梯度缩减策略来减少通信开销。此外，论文还探讨了内部学习率的调度、温度参数和模型参数的更新规则等三个组成部分的优化策略，以进一步提高训练效率。

论文在不同的计算规模和数据规模上对FastCLIP和OpenCLIP进行了基准测试，证明了FastCLIP在资源有限的情况下的显著改进。论文还公开了FastCLIP的代码。

最近相关的研究包括使用大规模数据训练CLIP模型的研究，以及使用先进的优化技术来优化全局对比损失的研究。