Joint sentiment analysis of lyrics and audio in music

情感或心情可以在音乐中表现出各种层次。在自动分析中，通常会分析实际的音频数据，但歌词在情绪感知中也可以发挥关键作用。我们首先评估了基于歌词和音频分别进行情感分析的各种模型。相应的方法已经显示出令人满意的结果，但它们也表现出一些弱点，我们会更详细地研究其原因。此外，我们提出并评估了不同的音频和歌词结果组合方法。考虑到两种形式通常会提高性能。我们更仔细地研究了音频和歌词情感之间的误分类和（有意的）矛盾，并确定了可能的原因。最后，我们解决了这个研究领域的一些基本问题，例如高度主观性、缺乏数据和情绪分类的不一致性。

本论文旨在通过分析歌词和音频来实现情感分析，并针对情感分析中的主观性、数据缺乏和情感分类的不一致性等问题进行探讨。

论文提出了基于歌词和音频分别进行情感分析的模型，并探讨了将两种模型相结合的方法。此外，论文还深入研究了音频和歌词情感之间的矛盾和误分类问题，并提出了解决方案。

论文使用了多个数据集进行实验，并比较了不同模型的表现。此外，论文还探讨了情感分类中存在的主观性、数据缺乏和情感分类的不一致性等问题，并提出了解决方案。论文还提出了一些值得深入研究的问题，如如何解决情感分类中的主观性和如何构建更一致的情感分类体系。

在相关研究方面，最近的一些研究包括《A comparative study of audio and lyrics features for music emotion recognition》和《Multi-modal Music Emotion Recognition using Audio and Lyrics》等。