DataComp: In search of the next generation of multimodal datasets

解决问题： 这篇论文旨在解决机器学习领域中数据集受到的研究关注不足的问题，提出了一个名为DataComp的基准测试，旨在通过固定训练代码，让研究者通过提出新的训练集来创新，从而推动多模态数据集的发展。

关键思路： DataComp基准测试的核心思路是让研究者通过提出新的数据集来推动多模态数据集的发展。研究者将新的过滤技术或策划新的数据源，并通过在标准化的CLIP训练代码上进行训练和测试，来评估新的数据集。该基准测试共包含多个规模，涵盖从1280万到128亿个样本的候选池大小和相关计算预算，这有助于研究不同规模下的趋势，并使基准测试适用于不同资源的研究者。相比当前这个领域的研究状况，DataComp的思路在于提出了一种基于新数据集创新的方法，推动多模态数据集的发展。

其他亮点： 该论文提出了一个新的数据集基准测试DataComp，可以为多模态数据集的实验提供一个标准化的测试平台。论文还介绍了DataComp-1B数据集，该数据集是通过对128亿个图像文本对进行简单的过滤算法获得的，可以训练出一个性能优异的CLIP ViT-L/14模型。实验结果表明，DataComp的工作流程是改进多模态数据集的一种有前途的方法。该论文的实验数据集是从Common Crawl中获得的，但并未提到是否开源。DataComp的方法可以为多模态数据集的研究提供新思路，值得进一步深入研究。

关于作者： 该论文的主要作者来自谷歌、加州大学伯克利分校和斯坦福大学等机构。Samir Yitzhak Gadre是谷歌研究员，曾发表过多篇关于深度学习和自然语言处理的论文。Alex Fang是谷歌的高级研究员，曾领导谷歌机器学习团队的多项研究工作。Jonathan Hayase是加州大学伯克利分校的博士生，研究方向为计算机视觉和自然语言处理。Georgios Smyrnis是斯坦福大学的博士生，研究方向为深度学习和计算机视觉。这些作者都在机器学习领域有着较为丰富的研究经验和成果。

相关研究： 近期其他相关的研究包括：

  1. "CLIP: Connecting Text and Images"，作者为Alec Radford、Jong Wook Kim等，来自OpenAI。
  2. "Stable Diffusion: A New Approach to Train GANs"，作者为Nikita Kitaev、Sewon Min等，来自斯坦福大学。
  3. "GPT-4: Generative Pre-training Transformer 4"，作者为OpenAI团队，这是一项关于自然语言处理的研究。

论文摘要：DataComp：寻找下一代多模态数据集 Samir Yitzhak Gadre，Gabriel Ilharco，Alex Fang，Jonathan Hayase，Georgios Smyrnis，Thao Nguyen，等人 大型多模态数据集在最近的突破中发挥了重要作用，如CLIP、稳定扩散和GPT-4。与此同时，数据集很少受到与模型架构或训练算法相同的研究关注。为了解决机器学习生态系统中的这个缺陷，我们引入了DataComp，这是一个基准测试，其中训练代码是固定的，研究人员通过提出新的训练集来进行创新。我们提供了一个测试平台，围绕Common Crawl的一个新的候选池，其中包含12.8B个图像-文本对。我们的基准测试由多个规模组成，包括四个候选池大小和相关的计算预算，在训练期间看到的样本数量范围从12.8M到12.8B。这种多尺度设计有助于研究扩展趋势，并使基准测试对具有不同资源的研究人员可访问。

我们的基准实验表明，DataComp工作流是改进多模态数据集的一种有前途的方法。我们介绍了DataComp-1B，这是一个通过对12.8B候选池应用简单的过滤算法创建的数据集。得到的14B子集使得可以从头开始训练一个CLIP ViT-L/14，在ImageNet上实现79.2%的零-shot准确率。我们的新ViT-L/14模型优于在LAION-2B上训练的更大的ViT-g/14 0.7个百分点，同时需要9倍的训练计算。我们还优于OpenAI的CLIP ViT-L/14 3.7个百分点，这个模型与我们的模型使用相同的计算预算进行训练。这些收益突显了通过精心策划的训练集来提高模型性能的潜力。我们认为DataComp-1B只是第一步，希望DataComp为下一代多模态数据集铺平道路。

内容中包含的图片若涉及版权问题，请及时与我们联系删除