Symbolic Music Generation with Non-Differentiable Rule Guided Diffusion

我们研究了符号音乐生成的问题（例如生成钢琴卷帘），并着重研究了非可微规则指导技术。音乐规则通常以符号形式表达在音符特征上，例如音符密度或和弦进行，其中许多是不可微的，这在使用它们进行指导扩散时会带来挑战。我们提出了一种新的指导方法——随机控制指导（SCG），它只需要前向计算规则函数就可以与预训练的扩散模型以即插即用的方式配合使用，从而首次实现了对非可微规则的无需训练的指导。此外，我们还引入了一种高时间分辨率的符号音乐生成的潜在扩散架构，可以与SCG以即插即用的方式组合。与符号音乐生成的标准强基线相比，该框架在音乐质量和基于规则的可控性方面都取得了显著进展，在各种设置下都优于当前最先进的生成器。有关详细演示、代码和模型检查点，请访问我们的项目网站：https://scg-rule-guided-music.github.io/。

论文旨在解决符号音乐生成中的非可微规则指导问题，提出一种新的指导方法，使得可以在预先训练的扩散模型中实现训练免费的非可微规则指导。

Stochastic Control Guidance (SCG)是一种新的指导方法，可以在预先训练的扩散模型中实现训练免费的非可微规则指导。同时，还提出了一种高时间分辨率的潜在扩散结构，可以与SCG插件式地组合，实现符号音乐生成。

论文提出的SCG方法可以实现训练免费的非可微规则指导，同时提出了一种高时间分辨率的潜在扩散结构，实验结果表明，这种方法在音乐质量和规则控制方面都有明显的优势。论文提供了代码和模型检查点。

最近的相关研究包括：1. A Deep Learning Framework for Automatic Music Generation with Rule Constraints；2. Hierarchical Music Generation with Recurrent Neural Networks；3. On the Evaluation of Generative Models in Music。