On Class Separability Pitfalls In Audio-Text Contrastive Zero-Shot Learning

最近在音频-文本跨模态对比学习方面的进展表明，它在零样本学习方面具有潜力。其中一种可能是通过将预训练的骨干神经网络的项目嵌入投影到跨模态空间中，从而可以在任一领域中计算项目相似性。这个过程依赖于骨干网络的强大单模态预训练，以及对投影仪的数据密集型训练任务。这两个过程可能会受到无意中的数据泄漏的影响，这可能来自于在预训练中使用监督学习，或者无意中使用零样本学习评估的标签来训练跨模态投影。在这项研究中，我们表明，测量的零样本学习准确性的一个重要部分是由于从音频和文本骨干继承的优势，即它们不是在跨模态领域中学习的，也不是从一种模态转移到另一种模态的。

论文旨在探讨音频文本跨模态对比学习在零样本学习中的潜力，并阐述了其可能存在的数据泄漏问题。

通过将预训练的神经网络的项目嵌入映射到跨模态空间中，可以计算任一领域中项目的相似性，从而实现零样本学习。但是，该过程依赖于强大的单模态预训练和数据密集型的投影器训练任务。此外，论文发现，零样本学习准确性的一部分是由于音频和文本骨干的优势而不是跨模态领域中学习的。这一发现提醒我们在进行跨模态学习时需要注意数据泄漏问题。

论文使用了多个数据集进行实验，并开源了代码。另外，论文提出的数据泄漏问题值得关注。在相关工作方面，最近的研究包括《Vision-Language Pre-training with Contrastive Cross-Modal Tasks》和《Unsupervised Cross-Modal Alignment of Speech and Text Embedding Spaces》等。

Vision-Language Pre-training with Contrastive Cross-Modal Tasks，Unsupervised Cross-Modal Alignment of Speech and Text Embedding Spaces