Composer's Assistant 2: Interactive Multi-Track MIDI Infilling with Fine-Grained User Control

我们介绍了Composer's Assistant 2，这是一个用于在REAPER数字音频工作站中进行交互式人机作曲的系统。我们的工作升级了Composer's Assistant系统（该系统在轨道-小节级别上执行符号音乐的多轨道填充），引入了广泛的新控件，以便用户对系统的输出进行细粒度控制。本文介绍的控件包括两种类型的节奏调节控件、水平和垂直音符起始密度控件、几种类型的音高控件和节奏兴趣控件。我们训练了一个类似于T5的转换器模型来实现这些控件，并作为我们系统的主干。通过这些控件，我们在客观指标上实现了比原始系统显着的改进。我们还研究了我们的模型对控件含义的理解程度，并进行了一项听力研究，结果发现我们的系统创作的音乐与真实音乐之间没有显著差异。我们发布了我们的完整系统，包括源代码、预训练模型和REAPER脚本。

论文旨在升级Composer's Assistant系统，以实现用户对系统输出的细粒度控制。作者使用了多种控制方式，包括节奏控制、音高控制和节奏兴趣控制等，以提高系统的客观度量指标。

论文使用了基于T5的转换器模型来实现控制，并在实验中取得了显著的改进。研究人员还研究了模型对控制含义的理解，并进行了听力实验。

论文提供了一个全面的系统，包括源代码、预训练模型和REAPER脚本。实验结果表明，使用新的控制方式可以显著提高系统的客观度量指标，并且听力实验没有发现真实音乐和与系统共同创作的音乐之间的显著差异。

近期相关研究包括使用神经网络生成音乐的研究，如MIDI-VAE和MuseGAN。