Emotion Detection with Transformers: A Comparative Study

在这项研究中，我们探讨了基于Transformer模型在文本数据情感分类上的应用。我们使用不同变体的Transformer对情感数据集进行了训练和评估。该论文还分析了一些影响模型性能的因素，例如Transformer层的微调、可训练性以及文本数据的预处理。我们的分析揭示了常用技术如去除标点符号和停用词可能会阻碍模型的性能。这可能是因为Transformer的强项在于理解文本中的上下文关系。标点符号和停用词等元素仍然可以传达情感或强调，去除它们可能会破坏这种上下文。

本论文旨在探索基于transformer模型的情感分类在文本数据上的应用。研究中分析了fine-tuning、层的可训练性以及文本预处理等因素对模型性能的影响。

论文使用不同变种的transformer模型在Emotion数据集上进行训练和评估，并发现常用的文本预处理技术（如去除标点符号和停用词）可能会影响模型性能，因为transformer的强项在于理解文本中的上下文关系。

论文分析了影响模型性能的因素，提出了去除标点符号和停用词可能会影响模型性能的观点，这为后续的情感分类研究提供了新思路。

近期的相关研究包括：BERT、XLNet、GPT-2等transformer模型在情感分类上的应用。