Foundation Models for Music: A Survey

近年来，基础模型（FMs）如大型语言模型（LLMs）和潜在扩散模型（LDMs）深刻影响了包括音乐在内的各个领域。本综述全面审视了音乐中最先进的预训练模型和基础模型，包括表示学习、生成学习和多模态学习。我们首先将音乐在各个行业中的重要性置于背景下，并追溯了AI在音乐中的演变。通过描绘基础模型所针对的模态，我们发现许多音乐表示在FM开发中尚未得到充分探索。接着，重点放在了以往方法在多样化音乐应用上的缺乏适用性，以及FMs在音乐理解、生成和医疗应用方面的潜力。通过全面探索模型预训练范式、架构选择、标记化、微调方法和可控性的细节，我们强调了一些重要的主题，如指令调整和上下文学习、缩放定律和新兴能力，以及长序列建模等。一个专门的章节介绍了音乐代理的见解，并伴随着对于预训练和下游任务至关重要的数据集和评估的彻底分析。最后，强调了道德考虑的重要性，我们主张，对于FM在音乐中的研究应更加关注可解释性、透明度、人类责任和版权问题等问题。本文为FM在音乐领域的未来挑战和趋势提供了见解，旨在塑造人工智能与音乐领域的合作轨迹。

本论文旨在综述基于预训练模型（FMs）在音乐领域的最新研究进展，包括表示学习、生成学习和多模态学习等方面，探索FMs在音乐理解、生成和医疗应用方面的潜力。

本文重点关注FMs在音乐领域的应用，探索其在音乐表示学习、生成学习和多模态学习方面的潜力，同时强调模型预训练范式、架构选择、标记化、微调方法和可控性等问题的重要性。

论文详细探讨了模型预训练范式、架构选择、标记化、微调方法和可控性等关键问题，分析了音乐代理的洞见、数据集和评估方法，提出了伦理考虑的重要性，并展望了未来的挑战和趋势。

与本文相关的研究包括大规模语言模型、潜在扩散模型等预训练模型的应用，以及音乐表示学习、生成学习和多模态学习等方面的研究。