MSciNLI: A Diverse Benchmark for Scientific Natural Language Inference

本文介绍了一项名为科学自然语言推理（NLI）的任务，其涉及预测从研究文章中提取的两个句子之间的语义关系。最近，该任务与一个新数据集SciNLI一起提出，该数据集源自计算语言学领域的论文。本文旨在为科学NLI任务引入多样性，并提出MS ciNLI，一个包含132,320个句子对的数据集，这些句子对来自五个新的科学领域。多个领域的可用性使得研究科学NLI的领域转移成为可能。我们通过微调预训练语言模型（PLMs）和提示大型语言模型（LLMs）在MS ciNLI上建立了强大的基线。PLM和LLM基线的最高宏F1分别为77.21％和51.77％，说明MS ciNLI对于这两种类型的模型都具有挑战性。此外，我们表明领域转移会降低科学NLI模型的性能，这证明了我们数据集中不同领域的多样性特征。最后，我们在中间任务转移学习设置中使用两个科学NLI数据集，并展示它们可以提高科学领域下游任务的性能。我们在Github上提供了我们的数据集和代码。

本文旨在引入多样性到科学自然语言推理任务中，并提出了一个包含五个新科学领域的数据集MSciNLI，用于研究科学自然语言推理的领域转移问题。

本文通过微调预训练语言模型和提示大型语言模型等方法在MSciNLI上建立了强基线模型，并发现领域转移会降低科学自然语言推理模型的性能。此外，本文还展示了在中间任务迁移学习设置下，使用科学自然语言推理数据集可以提高科学领域下游任务的性能。

本文提出了一个包含五个新科学领域的数据集MSciNLI，用于研究科学自然语言推理的领域转移问题。本文建立了强基线模型并发现领域转移会降低科学自然语言推理模型的性能。本文还展示了在中间任务迁移学习设置下，使用科学自然语言推理数据集可以提高科学领域下游任务的性能。本文的数据集和代码已在Github上开源。

最近的相关研究包括提出的SciNLI数据集以及在该数据集上建立的模型。