- 简介音乐谱是音乐的书写表示,包含了丰富的音乐元素信息。音乐谱上的视觉信息包括音符、休止符、五线谱、调号、音量和连奏等。音乐谱中的这些视觉信息包含的语义信息比音频和符号表示的音乐更多。先前的音乐谱数据集规模有限,主要用于光学乐谱识别(OMR)。缺乏针对音乐建模和生成的大规模基准数据集的研究。在本研究中,我们提出了MusicScore,这是一个从国际乐谱图书馆项目(IMSLP)收集和处理的大规模音乐谱数据集。MusicScore由图像-文本对组成,其中图像是音乐谱的一页,文本是音乐的元数据。MusicScore的元数据是从IMSLP页面的通用信息部分提取的。元数据包括有关音乐作品的作曲家、乐器、曲风和流派的丰富信息。MusicScore被分为小、中、大三个规模的400、14k和200k个图像-文本对,并具有不同的多样性。我们基于UNet扩散模型构建了一个得分生成系统,以生成在文本描述条件下可视化的音乐谱,以评估MusicScore数据集的音乐谱生成能力。MusicScore已在https://huggingface.co/datasets/ZheqiDAI/MusicScore上向公众发布。
- 图表
- 解决问题论文旨在创建一个大规模的音乐谱面数据集,以用于音乐建模和生成的基准测试,并提出了一个基于UNet扩散模型的谱面生成系统。
- 关键思路论文提出了MusicScore数据集,该数据集包含从IMSLP收集和处理的音乐谱面图像-文本对,其中文本是音乐元数据,包括有关作曲家、乐器、作品风格和流派的丰富信息。该数据集分为400、14k和200k个图像文本对,用于不同规模的任务。同时,论文提出了一种基于UNet扩散模型的音乐谱面生成系统。
- 其它亮点MusicScore数据集是一个大规模的音乐谱面数据集,对音乐建模和生成有很大的帮助。同时,论文提出的基于UNet扩散模型的音乐谱面生成系统在生成视觉可读的音乐谱面方面表现出色。论文还开放了数据集和代码。
- 最近在这个领域中,还有一些相关的研究,例如:MusicNet数据集、MAESTRO数据集、DeepScore等。
沙发等你来抢
去评论
评论
沙发等你来抢