AudioSetMix: Enhancing Audio-Language Datasets with LLM-Assisted Augmentations

在音频语言领域，多模态学习在近年来取得了显著进展。然而，与图像语言任务相比，音频语言学习面临着数据受限和低质量的挑战。现有的音频语言数据集明显较小，手动标注受到需要听整个音频剪辑才能进行准确标注的限制。我们的方法通过增加自然语言标签和相应的音频信号处理操作来系统地生成音频-字幕对。利用大型语言模型，我们使用提示模板生成增强音频剪辑的描述。这种可伸缩的方法产生了高质量的训练数据集AudioSetMix，用于文本和音频相关模型的训练。我们数据集的整合通过提供多样化和更好对齐的例子来提高模型在基准测试上的表现。值得注意的是，我们的数据集解决了现有数据集中缺少修饰语（形容词和副词）的问题。通过使模型学习这些概念，并在训练过程中生成困难的负面例子，我们在多个基准测试上实现了最先进的性能。

论文试图解决音频-语言领域中数据有限、质量较差的问题，提出一种通过自动生成音频-文字对来扩充数据集的方法，从而改善模型性能。

论文提出了一种通过对音频进行处理和语言模型生成来生成音频-文字对的方法，从而扩充数据集。通过这种方法生成的数据集可以提高模型的性能，并且解决了现有数据集中缺乏形容词和副词的问题。

论文的方法可以扩充数据集，提高模型性能，并且解决了现有数据集中缺乏形容词和副词的问题。实验使用了开源的AudioSet数据集，并且通过生成的数据集在多个基准测试中取得了最先进的性能。论文提出的方法可以为音频-语言领域的研究提供新思路。

在音频-语言领域的相关研究中，有一些研究也关注数据集的扩充和提高模型性能，例如《Multi-Modal Transformer for Unaligned Multimodal Language Sequences》、《AudioCaps: Generating Captions for Audios in The Wild》等。