MelodyT5: A Unified Score-to-Score Transformer for Symbolic Music Processing

2024年07月02日
  • 简介
    在符号音乐研究领域,开发可扩展系统的进展受到可用训练数据的稀缺和需要针对特定任务定制模型的需求的明显阻碍。为了解决这些问题,我们提出了MelodyT5,这是一个新颖的统一框架,利用了针对ABC符号音乐处理的编码器-解码器架构。该框架挑战了传统的任务特定方法,将各种符号音乐任务视为得分到得分的转换。因此,它将七个以旋律为中心的任务,从生成到和声化和分段,集成到一个单一模型中。在MelodyHub上预训练,这是一个新近策划的收藏,包含超过261K个以ABC符号表示的独特旋律,并包含超过一百万个任务实例,MelodyT5通过多任务迁移学习展现了在符号音乐处理中卓越的性能。我们的研究结果突出了多任务迁移学习在符号音乐处理中的功效,特别是对于数据稀缺的任务,挑战了传统的任务特定范式,并为未来在这个领域的探索提供了一个全面的数据集和框架。
  • 作者讲解
  • 图表
  • 解决问题
    本论文旨在解决符号音乐研究中可扩展系统开发受限的问题,主要源于可用训练数据的稀缺性和需要特定任务定制模型的需求。同时,论文试图挑战传统的任务特定方法,将各种符号音乐任务视为得分到得分的转换,将七个以旋律为中心的任务整合到一个模型中。
  • 关键思路
    论文提出了MelodyT5,这是一个针对ABC符号音乐处理量身定制的编码器-解码器架构,使用多任务迁移学习实现符号音乐处理的优异性能。MelodyT5在MelodyHub上进行了预训练,该集合包含超过261K个独特的旋律,涵盖了一百万多个任务实例。
  • 其它亮点
    论文的实验结果表明,多任务迁移学习在符号音乐处理中具有很高的效果,特别是对于数据稀缺的任务。MelodyHub数据集和MelodyT5框架为未来探索该领域提供了全面的数据集和框架。值得关注的是,论文还提供了开源代码。
  • 相关研究
    最近的相关研究包括:“Music Transformer: Generating Music with Long-Term Structure”和“BachBot: A Configurable Music Generation Model”。
许愿开讲
PDF
原文
点赞 收藏
向作者提问
NEW
分享到Link

提问交流

提交问题,平台邀请作者,轻松获得权威解答~

向作者提问