Beyond Metrics: Evaluating LLMs' Effectiveness in Culturally Nuanced, Low-Resource Real-World Scenarios

本研究评估了七个主要的大型语言模型（LLMs）在情感分析中的表现，数据集来自多语言和混合编码的WhatsApp聊天记录，包括斯瓦希里语、英语和Sheng语。我们的评估包括定量分析，使用F1分数等指标，以及对LLMs预测的解释的定性评估。我们发现，虽然Mistral-7b和Mixtral-8x7b取得了高的F1分数，但它们和其他LLMs（如GPT-3.5-Turbo、Llama-2-70b和Gemma-7b）在理解语言和语境细微差别方面遇到了困难，并且在解释其决策过程时缺乏透明度。相比之下，GPT-4和GPT-4-Turbo在掌握多样化的语言输入和管理各种语境信息方面表现出色，表现与人类对齐一致，决策过程透明。然而，LLMs在纳入文化细微差别方面遇到困难，特别是在非英语环境中，GPT-4的表现不一致。研究结果强调了需要不断改进LLMs以有效地应对文化细微差别、低资源的现实环境中的挑战。

评估七个领先的大型语言模型在多语言和混合编码通信环境中的情感分析表现，发现这些模型在理解语言和上下文细微差别方面存在困难，并缺乏透明度

GPT-4和GPT-4 Turbo在处理多样化的语言输入和上下文信息方面表现出色，但在非英语环境中的文化细节方面表现不一致，强调需要不断改进LLMs以有效解决文化细节和资源匮乏的现实问题

使用多语言和混合编码的WhatsApp聊天数据集进行了定量和定性分析，发现LLMs在情感分析任务上的表现存在局限性；作者提出了未来改进LLMs的方向和策略

最近的相关研究包括《A Survey on Multilingual and Cross-Lingual Sentiment Analysis》、《Assessing the Cross-Lingual Utility of Monolingual and Multilingual Embeddings in Sentiment Analysis》等