Unraveling the Dominance of Large Language Models Over Transformer Models for Bangla Natural Language Inference: A Comprehensive Study

自然语言推理（NLI）是自然语言处理（NLP）的基石，可以提供有关文本配对之间蕴含关系的见解。它是自然语言理解（NLU）的关键组成部分，展示了从口头或书面交互中提取信息的能力。NLI主要涉及确定两个语句之间的蕴涵关系，即前提和假设。当前提逻辑上暗示假设时，该配对被标记为“蕴涵”。如果假设与前提相矛盾，则该配对接收“矛盾”标签。当没有足够的证据来建立联系时，该配对被描述为“中立”。尽管大型语言模型（LLMs）在各种任务中取得了成功，但它们在NLI方面的有效性仍受到问题的限制，例如低资源领域准确性、模型过度自信以及难以捕捉人类判断分歧等问题。本研究探讨了在孟加拉语等低资源语言中评估LLMs的未开发领域。通过全面评估，我们评估了著名的LLMs和最先进的（SOTA）模型在孟加拉语NLP任务中的性能，重点关注自然语言推理。利用XNLI数据集，我们进行了零-shot和少-shot评估，比较了LLMs（如GPT-3.5 Turbo和Gemini 1.5 Pro）与BanglaBERT、Bangla BERT Base、DistilBERT、mBERT和sahajBERT等模型。我们的研究结果表明，虽然在少量数据情况下，LLMs可以达到与精细调整的SOTA模型相当或更好的性能，但需要进一步研究来增强我们对LLMs在像孟加拉语这样的语言中的理解。本研究强调了在探索LLM在不同语言环境中的能力方面继续努力的重要性。

评估大型语言模型在孟加拉语自然语言推理任务中的表现，特别是在低资源语言情况下的表现。

通过使用XNLI数据集进行零样本和少样本评估，比较了LLMs和SOTA模型在孟加拉语自然语言推理任务中的性能。研究发现，虽然LLMs在少样本情况下可以达到与SOTA模型相当或更优的性能，但在低资源语言情况下，还需要进一步研究LLMs的表现。

使用了XNLI数据集进行评估，比较了多个LLMs和SOTA模型的性能。研究发现LLMs在少样本情况下可以达到与SOTA模型相当或更优的性能。研究强调了在不同语言环境下探索LLMs能力的重要性。

最近的相关研究包括《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》和《XLNet: Generalized Autoregressive Pretraining for Language Understanding》等。