Unraveling the Dominance of Large Language Models Over Transformer Models for Bangla Natural Language Inference: A Comprehensive Study

自然语言推理（NLI）是自然语言处理（NLP）的基石，它提供了有关文本配对之间蕴含关系的见解。它是自然语言理解（NLU）的关键组成部分，展示了从口头或书面交互中提取信息的能力。NLI主要关注于确定两个语句之间的蕴含关系，即前提和假设。当前提在逻辑上暗示假设时，该配对被标记为“蕴含”。如果假设与前提相矛盾，则该配对接收“矛盾”标签。当没有足够的证据建立联系时，该配对被描述为“中性”。尽管大型语言模型（LLMs）在各种任务中取得了成功，但它们在NLI方面的有效性仍受到问题的限制，如低资源领域准确性、模型过度自信和难以捕捉人类判断分歧。本研究探讨了在低资源语言（如孟加拉语）中评估LLMs的未充分开发领域。通过全面评估，我们评估了著名的LLMs和最先进的（SOTA）模型在孟加拉语NLP任务中的表现，重点关注自然语言推理。利用XNLI数据集，我们进行了零-shot和少-shot评估，比较了LLMs（如GPT-3.5 Turbo和Gemini 1.5 Pro）与模型（如BanglaBERT、Bangla BERT Base、DistilBERT、mBERT和sahajBERT）的性能。我们的研究结果表明，虽然LLMs在少量数据场景中可以达到与微调SOTA模型相当或更好的性能，但需要进一步研究来增强我们对LLMs在像孟加拉语这样的资源有限语言中的理解。本研究强调了在探索LLM在不同语言环境中的能力方面继续努力的重要性。

本文旨在评估大型语言模型在低资源语言（如孟加拉语）自然语言推理任务中的表现，并比较它们与先进模型的性能。

本文通过对XNLI数据集进行零样本和少样本评估，比较了GPT-3.5 Turbo和Gemini 1.5 Pro等大型语言模型与BanglaBERT、Bangla BERT Base、DistilBERT、mBERT和sahajBERT等先进模型在孟加拉语NLP任务中的表现。发现大型语言模型在少样本情况下可以达到与先进模型相当或更好的性能，但需要进一步研究以增强我们对于大型语言模型在低资源语言中的理解。

本文关注于低资源语言中的自然语言推理任务，提出了零样本和少样本评估的方法。实验结果显示大型语言模型在少样本情况下可以达到与先进模型相当或更好的性能，但需要进一步研究以增强我们对于大型语言模型在低资源语言中的理解。

最近的相关研究包括在其他语言中评估大型语言模型的性能，如英语、中文和阿拉伯语。相关论文包括：《ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators》、《ERNIE: Enhanced Representation through Knowledge Integration》和《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》等。