Evaluating the Effectiveness of the Foundational Models for Q&A Classification in Mental Health care

预训练语言模型（PLMs）有潜力通过提供易于获得和文化敏感的资源来改变心理健康支持。然而，尽管有这种潜力，它们在心理健康护理中的有效性，特别是在阿拉伯语方面，尚未得到广泛探索。为了弥补这一差距，本研究评估了基础模型在心理健康护理领域中问题和答案（Q&A）分类方面的有效性。我们利用MentalQA数据集，这是一个包含与心理健康相关的Q&A交互的阿拉伯语集合。在本研究中，我们使用了四种不同类型的学习方法：传统的特征提取，PLMs作为特征提取器，Fine-tuning PLMs以及在零样本和少样本学习设置中提示大型语言模型（GPT-3.5和GPT-4）。虽然传统的特征提取器结合支持向量机（SVM）表现出了很好的性能，但由于其能够捕捉语义含义，PLMs表现出了更好的结果。例如，MARBERT在问题分类方面达到了最高的性能，Jaccard分数为0.80，在答案分类方面，Jaccard分数为0.86。我们还进行了深入的分析，包括研究Fine-tuning与非Fine-tuning的影响、数据大小的影响以及进行错误分析。我们的分析表明，Fine-tuning对于提高PLMs的性能是有益的，训练数据的大小在实现高性能方面起着至关重要的作用。我们还探讨了提示，其中使用GPT-3.5进行少样本学习取得了有希望的结果。问题分类和分类的改进率分别为12%和45%。根据我们的研究结果，可以得出结论，PLMs和基于提示的方法在阿拉伯语心理健康支持方面具有潜力。

本论文旨在评估基于预训练语言模型（PLMs）在阿拉伯语心理健康领域中进行问答分类的有效性。

本文采用四种不同的学习方法进行实验，结果表明PLMs在阿拉伯语心理健康领域中的问答分类表现优异。

本文使用了阿拉伯语心理健康问答数据集MentalQA，并对传统特征提取、PLMs作为特征提取器、微调PLMs以及零样本和少样本学习中的大型语言模型（GPT-3.5和GPT-4）进行了实验。结果表明，PLMs表现出更好的性能，尤其是MARBERT在问答分类中表现最佳。此外，本文还探讨了微调和数据集大小对性能的影响，以及使用GPT-3.5进行少样本学习的效果。

最近的相关研究包括使用PLMs进行文本分类的研究，以及针对阿拉伯语的自然语言处理研究。