MERGE -- A Bimodal Dataset for Static Music Emotion Recognition

音乐情感识别（MER）领域近年来得到了稳步发展，贡献来自特征工程、机器学习和深度学习。现在的情况从以音频为中心的系统转变为结合音频和歌词的双模态集成。然而，公共且规模较大的双模态数据库的严重缺乏阻碍了双模态音频-歌词系统的发展和改进。本文提出了三个新的音频、歌词和双模态MER研究数据集，统称为MERGE，采用半自动化方法创建。为了全面评估所提出的数据集并建立基准，我们针对每种模态进行了多个实验，使用特征工程、机器学习和深度学习方法。此外，我们提出并验证了固定的训练-验证-测试分割。所得结果证实了所提出的数据集的可行性，使用深度神经网络进行双模态分类的整体最佳结果为79.21%的F1得分。

论文提出了三个新的音频、歌词和双模态情感识别研究数据集，以解决当前双模态情感识别领域缺乏公共和规模较大的数据集的问题。

论文使用半自动化方法创建了三个新的音频、歌词和双模态情感识别研究数据集，并使用特征工程、机器学习和深度学习方法进行了多种实验，证实了提出的数据集的可行性。

论文提出的三个新的音频、歌词和双模态情感识别研究数据集被称为MERGE，并且使用深度神经网络在双模态分类中取得了79.21%的F1得分。实验使用了特征工程、机器学习和深度学习方法，并验证了固定的训练-验证-测试划分方法。论文的数据集和代码已经开源。

最近的相关研究包括使用深度学习方法进行音频情感识别和使用歌词进行情感分析的研究。相关论文包括《A Survey on Deep Learning for Music Emotion Recognition》和《Lyrics-Based Analysis and Classification of Music》等。