M$^{2}$UGen: Multi-modal Music Understanding and Generation with the Power of Large Language Models

目前，利用大型语言模型（LLMs）进行研究的领域正在经历一波高潮。许多研究利用这些模型强大的推理能力来理解各种形式的语言，如文本、语音、图像、视频等。他们还利用LLMs来理解人类意图，并生成所需的输出，如图像、视频和音乐。然而，利用LLMs结合理解和生成的研究仍然有限，处于起步阶段。为了填补这一空白，我们介绍了一个多模态音乐理解和生成（M$^{2}$UGen）框架，该框架整合了LLM的理解和生成音乐的能力，适用于不同的形式。M$^{2}$UGen框架旨在通过预先训练的MERT、ViT和ViViT模型，从不同的灵感来源中释放创造力，包括音乐、图像和视频。为了实现音乐生成，我们探索了AudioLDM 2和MusicGen的使用。通过集成LLaMA 2模型，实现了多模态理解和音乐生成的桥梁。此外，我们利用MU-LLaMA模型生成了大量支持文本/图像/视频到音乐生成的数据集，以便训练我们的M$^{2}$UGen框架。我们对提出的框架进行了全面评估。实验结果表明，我们的模型达到或超过了当前最先进模型的性能。

本论文旨在解决结合理解和生成的多模态音乐生成问题。这个问题是否新的？

论文提出了一个名为M$^{2}$UGen的框架，该框架整合了LLM的理解和生成音乐的能力，以支持不同模态的音乐生成。这个框架如何整合多模态理解和音乐生成？

论文使用了预训练的MERT、ViT和ViViT模型来支持音乐、图像和视频的生成。此外，论文还使用了LLaMA 2模型来整合多模态理解和音乐生成，并使用MU-LLaMA模型生成了大量的数据集来支持文本/图像/视频到音乐的生成。实验结果表明，该框架的性能优于当前最先进的模型。

最近的相关研究包括使用LLM生成音乐的工作，以及结合LLM和其他技术进行多模态生成的工作。例如，一些相关的论文包括：《MidiNet: A Convolutional Generative Adversarial Network for Symbolic-domain Music Generation Using 1D and 2D Conditions》、《Generative Multi-modal Music Modeling with Hierarchical Variational Autoencoder》和《Music Transformer: Generating Music with Long-Term Structure》。