PiCoGen2: Piano cover generation with transfer learning approach and weakly aligned data

钢琴翻奏生成旨在从流行歌曲中创造出钢琴翻奏版本。现有方法主要采用监督学习，且训练需要强对齐和成对的歌曲-钢琴数据，这些数据是通过重新映射钢琴音符到歌曲音频来构建的。然而，这会导致钢琴信息的丢失，从而在原始和重新映射版本之间引起不一致性。为了克服这个限制，我们提出了一种迁移学习方法，该方法在仅使用钢琴数据进行预训练的基础上，对不需要重新映射音符的弱对齐成对数据进行微调。在预训练过程中，为了引导模型学习钢琴作曲概念而不仅仅是转录音频，我们使用现有的主旋律转录模型作为编码器从钢琴录音中提取高级特征。然后，对预训练模型进行微调，以将学习到的作曲知识转移到流行歌曲领域。我们的评估表明，这种训练策略使得我们的模型PiCoGen2能够获得高质量的结果，在五个流行音乐流派的客观和主观指标上均优于基线模型。

该论文旨在解决从流行歌曲生成钢琴翻奏的问题，而现有的方法主要采用监督学习，需要强对齐和成对的歌曲-钢琴数据，这会导致钢琴信息的丢失和原始版本之间的不一致性。

论文提出了一种转移学习方法，该方法在纯钢琴数据上进行预训练，并在不需要音符重新映射的弱对齐配对数据上进行微调。在预训练期间，为了引导模型学习钢琴组成概念而不仅仅是转录音频，作者使用现有的主旋律转录模型作为编码器从钢琴录音中提取高级特征。预训练模型随后在配对的歌曲-钢琴数据上进行微调，以将学习的组成知识转移到流行歌曲领域。

该论文的亮点包括使用转移学习方法解决了现有方法中的钢琴信息丢失和不一致性问题，作者使用现有的主旋律转录模型作为编码器从钢琴录音中提取高级特征，实验结果表明该方法在五种流行音乐类型上均优于基线模型，并且提供了开源代码和数据集。

在这个领域中，最近的相关研究包括使用GAN生成钢琴翻奏的研究《A Generative Adversarial Network for Piano Cover Generation》和使用Transformer模型生成钢琴翻奏的研究《Pop Music Transformer: Beat-based Modeling and Generation of Expressive Pop Piano Compositions in a Transformer Framework》。