MuChoMusic: Evaluating Music Understanding in Multimodal Audio-Language Models

多模态模型同时处理音频和语言，在音乐领域越来越受到采用，具有很大的潜力。这些模型允许用户通过文本查询并获取有关给定音频输入的信息，通过基于语言的界面，这些模型有潜力实现多种音乐理解任务。然而，它们的评估面临着相当大的挑战，目前尚不清楚如何有效地评估它们在当前方法下正确解释与音乐相关的输入的能力。出于这个原因，我们引入了MuChoMusic，一个以音频为重点的多模态语言模型中评估音乐理解的基准。MuChoMusic包括1,187个多项选择题，所有问题都经过人工标注，并涵盖了来自两个公开音乐数据集的644个音乐曲目，涵盖了各种流派。基准测试中的问题被设计来评估在几个维度上的知识和推理能力，涵盖了基本的音乐概念及其与文化和功能背景的关系。通过基准测试提供的整体分析，我们评估了五个开源模型，并确定了几个问题，包括过度依赖语言模态，这指出了需要更好的多模态集成。数据和代码均已开源。

MuChoMusic这篇论文旨在解决什么问题？

MuChoMusic提出了一个音乐理解的多模态语言模型基准测试，旨在评估这些模型在音频上的音乐理解能力。

该论文的亮点包括：使用多种音乐类型的数据集，提出了一个音乐理解的多模态语言模型基准测试，评估了五种开源模型的表现，并指出了一些问题，如过度依赖语言模态等。

在音乐领域中，最近有一些相关研究，如基于多模态的音乐情感分析和音乐信息检索。