Whole-Song Hierarchical Generation of Symbolic Music Using Cascaded Diffusion Models

近期深度音乐生成研究强调长期结构的生成，但我们仍未看到高质量、结构完整的整首歌曲生成。本文首次尝试在组合层次实现下对整首音乐进行建模。针对流行歌曲的符号表示，我们定义了一个分层语言，其中每个层次的重点是某个特定音乐范围的语义和上下文依赖性。高层语言揭示了整首歌曲的形式、乐句和终止，而低层语言则关注音符、和弦及其局部模式。我们训练了一个级联扩散模型来模拟分层语言，其中每个层次都以其上层为条件。实验和分析表明，我们的模型能够生成具有可识别的全球诗歌副歌结构和终止的整首音乐，且音乐质量高于基线。此外，我们展示了所提出的模型具有灵活的可控性。用户可以通过从可解释的分层语言中采样或调整预先训练的外部表示来控制音乐流，例如乐句和谐结构、节奏模式和伴奏质地。

本论文旨在通过建立一种符号表示的分层语言，实现对流行歌曲的整体生成，解决当前深度音乐生成研究中长期结构生成的问题。

论文提出了一种分层的语言模型，每一层都侧重于不同的音乐范围的语义和上下文依赖性。通过级联扩散模型，每一层都在其上层的条件下进行建模，从而实现对流行歌曲的整体生成。

论文的实验结果表明，所提出的模型能够生成具有可识别的全局歌词-副歌结构和结束语的完整音乐作品，并且音乐质量高于基线。此外，该模型具有灵活的可控性，用户可以通过从可解释的分层语言中进行采样或调整预训练的外部表示来控制音乐流。

近期的相关研究包括使用深度学习生成音乐的研究，如基于LSTM的音乐生成模型、GAN模型等。