Classification Done Right for Vision-Language Pre-Training

我们介绍了 SuperClass，这是一种用于图像-文本数据的视觉-语言预训练的超级简单的分类方法。与对比学习方法 CLIP 不同，CLIP 使用文本编码器进行对比，而 SuperClass 直接利用分词后的原始文本作为监督分类标签，无需额外的文本过滤或选择。由于没有将文本编码作为对比目标，SuperClass 不需要文本编码器，也不需要像 CLIP 那样维持一个较大的批量大小。SuperClass 在各种下游任务中表现出色，包括经典的计算机视觉基准和视觉语言下游任务。我们进一步探索了 SuperClass 在模型规模、训练时长或数据规模上的扩展行为，并报告了令人鼓舞的结果和与 CLIP 的比较。

SuperClass旨在解决现有视觉-语言预训练模型如CLIP中存在的问题，特别是减少对文本编码器的依赖和降低对大数据量的需求。这是一个在视觉-语言预训练领域的新尝试，通过简化模型结构来提高效率和性能。

SuperClass的关键创新在于直接利用原始文本作为监督分类标签，而不需要额外的文本过滤或选择过程。这种方法避免了对比学习中的文本编码步骤，从而消除了对文本编码器的需求，并且可以在较小的批处理大小下运行，提高了模型的训练效率和资源利用率。

SuperClass在多个下游任务上展示了优越的性能，包括经典计算机视觉基准测试和视觉-语言下游任务。此外，研究者还探索了模型规模、训练长度和数据量对性能的影响，提供了详细的实验结果和与CLIP的比较。该研究已开源，代码可在GitHub上获取（https://github.com/x-cls/superclass），为后续研究提供了基础。

近年来，视觉-语言预训练领域涌现出许多重要研究，例如CLIP (Contrastive Language–Image Pre-training) 和 ALIGN。这些方法主要依赖于对比学习框架，通过图像-文本对之间的相似性来进行联合训练。然而，这些方法通常需要大量的计算资源和数据。相比之下，SuperClass提供了一种更高效、更简单的替代方案。其他相关研究还包括ViLT (Vision-and-Language Transformer) 和 M6 (A Large-Scale Pre-trained Model for Multi-modal Understanding and Generation)，它们也在探索如何更好地结合视觉和语言信息。