Scaling Pre-training to One Hundred Billion Data for Vision Language Models

我们对在前所未有的规模上（1000亿个示例）预训练视觉-语言模型的潜力进行了实证研究。我们发现，在许多常见的以西方为中心的分类和检索基准测试中，如COCO字幕，模型性能在这种规模下趋于饱和。然而，文化多样性任务从1000亿规模的网络数据中获得了更显著的提升，这得益于其对长尾概念的覆盖。此外，我们分析了模型的多语言能力，并展示了在资源匮乏的语言中也取得了进展。另外，我们观察到，通过使用像CLIP这样的质量过滤器来减少预训练数据集的大小，通常用于提高性能，可能会无意中减少即使在大规模数据集中所代表的文化多样性。我们的结果表明，虽然传统的基准测试可能不会从将嘈杂的原始网络数据扩展到1000亿个示例中显著受益，但这种数据规模对于构建真正包容的多模态系统至关重要。

该论文试图探讨大规模预训练（1000亿个样本）对视觉-语言模型的影响，特别是在传统基准测试和文化多样性任务上的表现。这不仅验证了大规模数据在提升模型性能方面的潜力，还探讨了其在促进多语言和文化包容性方面的作用。这是一个相对较新的问题，尤其是在处理如此大规模的数据集时。

关键思路在于利用前所未有的大规模数据（1000亿个样本）进行视觉-语言模型的预训练，并分析这种规模的数据如何影响不同任务的表现。相比以往的研究，这篇论文特别关注了文化多样性和低资源语言的任务，发现大规模数据在这些领域有显著的优势。此外，论文指出，传统的质量过滤方法（如使用CLIP）可能会无意中减少数据集的文化多样性。

实验设计包括在多个基准测试（如COCO Captions）上评估模型性能，并特别关注文化多样性任务。研究使用的数据集规模达到了1000亿个样本，这是目前最大的之一。值得注意的是，尽管在传统基准上性能提升有限，但在文化多样性和低资源语言任务上取得了显著进展。作者还强调了开源代码的重要性，鼓励未来的研究继续探索如何更好地利用大规模数据来构建更具包容性的多模态系统。

最近的相关研究包括： 1.《Scaling Laws for Transfer Learning in Vision-Language Models》 2.《Multimodal Pre-training with Large-Scale Web Data》 3.《Enhancing Multilingual Performance via Cross-lingual Pre-training》 4.《The Impact of Dataset Size on Multimodal Model Performance》 这些研究都探讨了大规模数据和多模态预训练对模型性能的影响，但本文的独特之处在于其对文化多样性和低资源语言的关注。