MuPT: A Generative Symbolic Music Pretrained Transformer

本文探讨了大型语言模型（LLMs）在音乐预训练中的应用。虽然MIDI在音乐建模中的广泛使用已经得到确认，但我们的研究表明，LLMs与ABC记谱更加兼容，因为它们的设计和优势更加契合，从而提高了音乐创作模型的性能。为了解决在生成过程中来自不同轨道的不对齐措施所面临的挑战，我们提出了开发一种同步多轨ABC记谱（SMT-ABC记谱）的方法，旨在保持多个音乐轨道之间的连贯性。我们的贡献包括一系列模型，能够处理高达8192个标记，覆盖了我们训练集中90％的符号音乐数据。此外，我们还探讨了符号音乐缩放定律（SMS定律）对模型性能的影响。结果表明，这为未来音乐生成的研究提供了一个有前途的方向，并通过我们的开源贡献为社区主导的研究提供了广泛的资源。

本论文旨在探讨使用大型语言模型（LLMs）进行音乐预训练的应用，解决使用MIDI进行音乐建模时存在的问题，并验证ABC符号乐谱更适合LLMs的设计和优势。

论文提出了一种同步多轨ABC符号乐谱（SMT-ABC符号乐谱）的开发，以解决生成过程中来自不同轨道的错位节拍的挑战，并开发了一系列能够处理多达8192个标记的模型，覆盖了训练集中90%的符号音乐数据。

论文的亮点包括开源贡献、符号音乐缩放定律（SMS Law）对模型性能的影响、实验设计和使用的数据集。这个领域值得进一步研究。

最近的相关研究包括使用深度学习生成音乐的研究，如“MuseNet: 用深度学习生成完整的多轨音乐”和“用深度学习生成音乐：一个综述”。