Foundation Models for Music: A Survey

近年来，基础模型（FMs），如大语言模型（LLMs）和潜在扩散模型（LDMs），深刻影响了包括音乐在内的各个领域。本综合综述研究了音乐中最先进的预训练模型和基础模型，涵盖了表示学习、生成学习和多模态学习。我们首先将音乐在各个行业中的重要性进行了背景介绍，并追溯了AI在音乐领域的发展历程。通过描述基础模型所针对的模态，我们发现许多音乐表示在FM开发中尚未得到充分探索。然后，我们强调了先前方法在各种音乐应用上缺乏多样性，并介绍了FMs在音乐理解、生成和医疗应用方面的潜力。通过全面探索模型预训练范式、架构选择、分词、微调方法和可控性的细节，我们强调了一些应该得到充分探索的重要主题，如指令调整和上下文学习、缩放定律和新兴能力，以及长序列建模等。一个专门的部分介绍了音乐代理的见解，并伴随着对必要的预训练和下游任务的数据集和评估的彻底分析。最后，通过强调道德考虑的重要性，我们主张在音乐FM研究中应更加关注解释性、透明度、人类责任和版权问题等问题。本文提供了关于FMs在音乐领域未来挑战和趋势的见解，旨在塑造人工智能与音乐领域的合作轨迹。

本论文旨在综述基于预训练模型和基础模型在音乐领域的应用，探讨其在音乐表示、生成和多模态学习方面的潜力和不足，并指出未来研究应该关注的问题。

本论文对音乐领域中基于预训练模型和基础模型的应用进行了全面的综述和总结，并提出了未来研究应该关注的问题，如模型的可解释性、透明度、人类责任和版权问题等。

论文综述了当前音乐领域中基于预训练模型和基础模型的应用，包括表示学习、生成学习和多模态学习等方面，并指出了这些方法在音乐应用的多样性方面存在的不足。论文还探讨了模型预训练范式、架构选择、标记化、微调方法和可控性等方面的细节，并提出了一些未来研究的方向和挑战。此外，论文还介绍了音乐代理的相关工作和数据集，并强调了伦理考虑的重要性。

在音乐领域中，最近的相关研究包括“Music Transformer”、“Jukebox”和“MuseNet”等。