Arrange, Inpaint, and Refine: Steerable Long-term Music Audio Generation and Editing via Content-based Controls

可控制的音乐生成对于人工智能与人类共创音乐至关重要。虽然大型语言模型（LLMs）在生成高质量音乐方面表现出了很大的潜力，但它们专注于自回归生成，限制了它们在音乐编辑任务中的实用性。为了弥补这一差距，我们引入了一种新颖的参数高效微调（PEFT）方法。这种方法使自回归语言模型能够无缝地解决音乐修补任务。此外，我们的PEFT方法集成了基于帧级内容的控制，促进了基于音轨的音乐细化和基于乐谱的音乐编排。我们将此方法应用于MusicGen，一个领先的自回归音乐生成模型的微调。我们的实验在多个音乐编辑任务中展示了有前途的结果，为未来的基于人工智能的音乐编辑工具提供了更灵活的控制。我们提供了一个演示页面和源代码的在线链接。

论文旨在解决自动音乐生成模型在音乐编辑任务中的限制，提出一种新的Parameter-Efficient Fine-Tuning (PEFT)方法，以便让自动回归语言模型能够无缝地解决音乐修补任务。

PEFT方法将帧级内容控制集成到自动回归语言模型中，以实现音轨条件的音乐细化和乐谱条件的音乐排列。通过对MusicGen模型进行fine-tune，实现更灵活的控制，提高音乐编辑工具的使用。

论文提出的PEFT方法在多个音乐编辑任务中表现出有希望的结果，为未来的AI驱动的音乐编辑工具提供更灵活的控制。论文提供了在线演示页面和开源代码。

最近的研究集中在自动音乐生成模型的发展，如GAN和VAE。相关论文包括“MidiNet: A Convolutional Generative Adversarial Network for Symbolic-domain Music Generation”和“Variational Autoencoder with Learned Latent Structure for Polyphonic Music Generation”。