HYPE: Hyperbolic Entailment Filtering for Underspecified Images and Texts

在数据量决定自监督学习有效性的时代，数据语义的特异性和清晰性在模型训练中起着至关重要的作用。为了解决这个问题，我们介绍了一种新的方法——超螺旋包含过滤（HYPE），旨在从广泛、嘈杂的图像-文本对数据集中精细地提取逐模态有意义且对齐的数据。我们的方法利用超螺旋嵌入和包含锥的概念来评估和过滤具有无意义或语义不足的样本，着重于提高每个数据样本的特异性。HYPE不仅在过滤效率方面展示了显著的改进，而且结合现有的过滤技术在DataComp基准测试中创造了新的最优结果。这一突破展示了HYPE在精细化数据选择过程中的潜力，从而为开发更准确、高效的自监督学习模型做出贡献。此外，图像特异性$\epsilon_{i}$可以独立地应用于从图像-文本或仅图像数据池中诱导出仅图像数据集，用于训练仅图像的自监督模型，并在与由CLIP分数诱导的数据集相比时展示出了更优异的性能。

本论文旨在解决在自监督学习中数据语义的清晰度和特异性对模型训练的重要性问题，提出了一种名为HYPE的新方法来从大量的嘈杂的图像-文本对数据集中精确提取有意义和对齐的数据，以增强每个数据样本的特异性。

HYPE方法利用双曲嵌入和蕴含锥的概念来评估和过滤具有无意义或不充分语义的样本，从而提高数据样本的特异性。

论文证明了HYPE不仅在过滤效率上有显著改进，而且在与现有过滤技术相结合时，在DataComp基准测试中创造了新的最佳效果。此外，本文还提出了一种独立应用于图像的特异性参数，可以从图像-文本或仅图像数据池中诱导出一个仅包含图像的数据集，用于训练仅图像的自监督模型，并在与CLIP分数诱导的数据集相比表现出更好的性能。

最近的相关研究包括《Contrastive Learning of Visual Representations》、《Unsupervised Learning of Visual Features by Contrasting Cluster Assignments》、《Bootstrap Your Own Latent: A New Approach to Self-Supervised Learning》等。