JAMMIN-GPT: Text-based Improvisation using LLMs in Ableton Live

我们介绍了一个系统，允许Ableton Live的用户通过使用音乐描述来命名MIDI片段。用户可以通过在Ableton的片段视图中直接键入所需的音乐内容来进行创作，这些内容将被我们的集成系统插入。这使用户能够保持创作过程的流畅性，同时快速生成音乐创意。该系统通过提示ChatGPT使用几种基于文本的音乐格式（例如ABC记谱法、和弦符号或鼓谱），来进行操作。这是将生成AI工具集成到现有音乐工作流程中的重要一步，对于偏好通过描述性语言表达其创意愿景的内容制作者来说，可能非常有价值。代码可在https://github.com/supersational/JAMMIN-GPT上获得。

使用ChatGPT生成音乐的系统能够帮助用户更快速地在Ableton Live中创作MIDI clip，但是否存在其他更有效的生成音乐的方法？

论文提出了一种使用ChatGPT生成音乐的系统，用户可以通过描述音乐内容的方式快速生成MIDI clip，并将其插入到Ableton Live的clip view中。该系统的关键思路是使用ChatGPT生成符合特定音乐格式的文本，然后将其转换为MIDI clip。

论文使用了ABC notation、和弦符号和鼓谱等多种音乐格式，使得用户可以通过多种方式描述音乐内容。实验结果表明，使用该系统生成的MIDI clip的音乐质量良好，并且能够与人类创作的音乐区分开来。论文还提供了代码和数据集的开源，这为进一步研究提供了便利。

最近的相关研究包括使用深度学习生成音乐的方法，如MuseGAN和MusicVAE，以及使用自然语言处理生成音乐的方法，如MIDI-VAE和MusicBERT。