RoBERTa-BiLSTM: A Context-Aware Hybrid Model for Sentiment Analysis

有效分析评论以揭示潜在意图在各个领域做出战略决策具有巨大价值。然而，许多挑战阻碍了情感分析的过程，包括评论中所展示的词汇多样性、文本中存在的长依赖、遇到未知符号和单词以及处理不平衡的数据集。此外，现有的情感分析任务大多使用顺序模型来编码长依赖文本，由于它按顺序处理文本，因此需要更长的执行时间。相比之下，Transformer由于其并行处理性质，需要更少的执行时间。在这项工作中，我们介绍了一种新型的深度学习模型RoBERTa-BiLSTM，它将Robustly Optimized BERT Pretraining Approach（RoBERTa）与双向长短期记忆（BiLSTM）网络相结合。RoBERTa用于生成有意义的词嵌入向量，而BiLSTM则有效地捕捉长依赖文本的上下文语义。RoBERTa-BiLSTM混合模型利用了顺序模型和Transformer模型的优点，提高了情感分析的性能。我们使用来自IMDb、Twitter US Airline和Sentiment140的数据集进行实验，以评估所提出的模型与现有最先进方法的性能。我们的实验结果表明，RoBERTa-BiLSTM模型超过了基准模型（例如BERT、RoBERTa-base、RoBERTa-GRU和RoBERTa-LSTM），在Twitter US Airline、IMDb和Sentiment140数据集上分别实现了80.74%、92.36%和82.25%的准确率。此外，该模型在同一数据集上实现了80.73%、92.35%和82.25%的F1分数。

本论文旨在解决情感分析中存在的多种挑战，如文本中的词汇多样性、长依赖性、未知符号和词汇、不平衡数据集等问题。同时，论文探索了结合RoBERTa和BiLSTM的混合模型在情感分析中的应用，以提高性能。

本论文提出了一种新颖的混合深度学习模型RoBERTa-BiLSTM，将RoBERTa的优化预训练方法与双向长短时记忆（BiLSTM）网络相结合。RoBERTa用于生成有意义的词向量，而BiLSTM则能有效地捕捉长依赖文本的上下文语义。

本文的实验使用了IMDb、Twitter US Airline和Sentiment140等数据集，比较了RoBERTa-BiLSTM模型与基线模型（如BERT、RoBERTa-base、RoBERTa-GRU和RoBERTa-LSTM）的性能。实验结果表明，RoBERTa-BiLSTM模型在Twitter US Airline、IMDb和Sentiment140数据集上的准确率分别达到了80.74％、92.36％和82.25％，F1分数分别为80.73％、92.35％和82.25％。

在情感分析领域，最近的相关研究包括使用深度学习模型进行情感分析，如使用卷积神经网络（CNN）和递归神经网络（RNN）等模型。其中，一些论文包括"Convolutional Neural Networks for Sentence Classification"和"Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank"。