Symbolic Music Generation with Non-Differentiable Rule Guided Diffusion

我们研究了符号音乐生成的问题（例如生成钢琴卷帘），技术重点在于非可微规则指导。音乐规则通常以符号形式表达在音符特征上，例如音符密度或和弦进行，其中许多是不可微的，这在使用它们进行指导扩散时会带来挑战。我们提出了一种新的指导方法\oursfull（\ours），它只需要规则函数的前向评估，可以与预训练的扩散模型以即插即用的方式一起使用，从而首次实现了对于非可微规则的无需训练的指导。此外，我们引入了一种高时间分辨率的符号音乐生成的潜在扩散架构，可以与SCG以即插即用的方式组合。与符号音乐生成中的标准强基线相比，这个框架在音乐质量和基于规则的可控性方面都有显著的进展，在各种情况下优于当前最先进的生成器。有关详细演示、代码和模型检查点，请访问我们的项目网站：https://scg-rule-guided-music.github.io/。

论文试图通过提出一种新的指导方法，解决符号音乐生成中的非可微规则指导问题。同时，引入一种高时间分辨率的潜在扩散结构，以实现符号音乐的生成。

论文提出了一种新的指导方法，名为SCG，它可以在不需要训练的情况下，使用预先训练好的扩散模型进行非可微规则的指导。同时，引入了一种高时间分辨率的潜在扩散结构，以实现符号音乐的生成。

论文在符号音乐生成方面取得了显著的进展，实现了音乐质量和基于规则的可控性的提高，并在各种情况下优于当前的最先进生成器。论文提供了详细的演示、代码和模型检查点，并使用了多个数据集进行了实验。值得进一步研究的工作包括如何进一步提高生成音乐的质量和可控性。

最近的相关研究包括：1）基于VAE的符号音乐生成；2）使用自注意力机制的符号音乐生成；3）使用GAN的符号音乐生成。