Music Consistency Models

一致性模型在促进高效图像/视频生成方面展现了显著的能力，使合成过程中的采样步骤最小化。它已经被证明在缓解扩散模型相关的计算负担方面具有优势。然而，一致性模型在音乐生成方面的应用仍然很少被探索。为了填补这一空白，我们提出了音乐一致性模型（MusicCM），它利用一致性模型的概念来高效地合成音乐片段的mel-spectrogram，保持高质量的同时最小化采样步骤。在现有的文本到音乐扩散模型的基础上，MusicCM模型结合了一致性蒸馏和对抗鉴别器训练。此外，我们发现通过结合共享约束的多个扩散过程来生成连续的连贯音乐是有益的。实验结果显示了我们的模型在计算效率、保真度和自然度方面的有效性。值得注意的是，MusicCM仅需四个采样步骤就能实现无缝音乐合成，例如每分钟的音乐片段仅需一秒钟，展示了实时应用的潜力。

本文试图探索一种新的音乐生成模型，通过应用一致性模型来实现高效的音乐合成，以减轻扩散模型所带来的计算负担，同时保持高质量的合成效果。

本文提出了一种名为Music Consistency Models (MusicCM)的模型，它应用了一致性模型的概念来有效合成音乐片段的mel-spectrogram，通过整合多个扩散过程和共享约束来生成连贯的音乐，同时利用一致性蒸馏和对抗鉴别器训练来提高合成效果。

实验结果表明，MusicCM模型在计算效率、保真度和自然度方面都表现出了良好的效果，仅需四个采样步骤就可以实现无缝音乐合成，展示了实时应用的潜力。此外，本文还使用了现有的文本到音乐扩散模型作为基础，为音乐生成领域的研究提供了新思路。

最近的相关研究包括：1. Diffusion Models for Text-to-Music Generation；2. Neural Audio Synthesis of Musical Notes with WaveNet Autoencoders；3. A Simple Framework for Contrastive Learning of Visual-Semantic Embeddings等。