MIDI-to-Tab: Guitar Tablature Inference via Masked Language Modeling

2024年08月09日
  • 简介
    吉他谱通过将每个音符分配到特定调弦方式下吉他的某个弦和品位,精确指示了在乐器上演奏音符的位置,从而丰富了传统音乐符号的结构。将符号音乐表示转换为吉他谱的问题涉及到在整个作品或演奏中推断每个音符的弦和品位分配。在吉他上,大多数音高可以有多个弦和品位分配,这导致了一个庞大的组合空间,使得穷举搜索方法不可行。大多数现代方法使用基于约束的动态规划来最小化某些成本函数(例如手部位置移动)。在本研究中,我们引入了一种新颖的深度学习解决方案,用于符号吉他谱估计。我们在掩码语言模型范式下训练了一个编码器-解码器Transformer模型,将音符分配到弦上。该模型首先在DadaGP上进行预训练,该数据集包含超过25K个吉他谱,并在经过精心转录的专业吉他演奏的筛选集上进行微调。鉴于评估吉他谱质量的主观性质,我们在吉他手中进行了用户研究,要求参与者评估同一四小节摘录的多个吉他谱版本的可演奏性。结果表明,我们的系统明显优于竞争算法。
  • 作者讲解
  • 图表
  • 解决问题
    本文旨在解决从符号音乐表示生成吉他谱的问题,即推断整个作品或演奏中每个音符的弦和品位分配。这是否是一个新问题?
  • 关键思路
    本文提出了一种新颖的深度学习解决方案,使用掩码语言建模范式中的编码器-解码器Transformer模型来分配音符到弦。该模型首先在DadaGP上进行预训练,然后在精心策划的专业吉他演奏的数据集上进行微调。
  • 其它亮点
    本文的亮点包括使用深度学习解决符号吉他谱估计问题,通过用户研究证明该系统显著优于竞争算法,并使用了一个包含超过25K个吉他谱的数据集进行预训练。此外,本文还提供了开源代码。
  • 相关研究
    最近在这个领域中,还有一些相关研究,例如“Automatic Guitar Tablature Transcription Using Deep Neural Networks”和“Guitar Tablature Generation Using Deep Learning and Search-Based Techniques”。
许愿开讲
PDF
原文
点赞 收藏
向作者提问
NEW
分享到Link

提问交流

提交问题,平台邀请作者,轻松获得权威解答~

向作者提问