Diff-BGM: A Diffusion Model for Video Background Music Generation

在编辑视频时，一段吸引人的背景音乐是不可或缺的。然而，视频背景音乐生成任务面临着几个挑战，例如缺乏合适的训练数据集以及难以灵活控制音乐生成过程和顺序地对齐视频和音乐。在这项工作中，我们首先提出了一个高质量的音乐视频数据集BGM909，并进行了详细的注释和镜头检测，以提供关于视频和音乐的多模态信息。然后，我们提出了评估音乐质量的评估指标，包括音乐多样性和音乐与视频之间的对齐，并使用检索精度指标。最后，我们提出了Diff-BGM框架，用于自动生成给定视频的背景音乐，它使用不同的信号来控制音乐生成过程的不同方面，即使用动态视频特征来控制音乐的节奏和语义特征来控制旋律和氛围。我们提出了通过引入分段感知的交叉注意力层来顺序地对齐视频和音乐。实验验证了我们提出的方法的有效性。代码和模型可在https://github.com/sizhelee/Diff-BGM上获得。

如何自动生成视频背景音乐是本文试图解决的问题。同时，本文还尝试解决数据集缺乏、音乐生成过程控制难度大、音乐与视频序列对齐等问题。

本文提出了一个名为Diff-BGM的框架，使用不同的信号控制音乐的不同方面，使用动态视频特征控制音乐节奏，使用语义特征控制旋律和氛围。同时，引入了一个分段感知的交叉注意力层，实现视频和音乐的顺序对齐。

本文提出了一个高质量的音乐-视频数据集BGM909，并提供了详细的注释和镜头检测，以提供有关视频和音乐的多模态信息。本文还提出了评估音乐质量的指标，包括音乐多样性和音乐与视频之间的对齐。本文的实验结果表明了所提出方法的有效性。此外，本文的代码和模型已经公开。

近期的相关研究包括使用深度学习方法生成音乐的研究，以及使用不同的信号控制音乐生成的研究。例如，标题为“MidiNet: A Convolutional Generative Adversarial Network for Symbolic-domain Music Generation”的论文使用了卷积生成对抗网络生成音乐。