Lessons from the Use of Natural Language Inference (NLI) in Requirements Engineering Tasks

我们研究了自然语言推理（NLI）在自动化需求工程任务中的应用。特别是，我们关注三个任务：需求分类、需求规范缺陷的识别以及利益相关者需求冲突的检测。虽然以前的研究已经表明，在广泛的自然语言处理任务中使用NLI作为通用方法具有显著的优势，但这些优势尚未在软件需求工程的背景下进行研究。因此，我们设计了实验来评估NLI在需求分析中的使用。我们将NLI的性能与一系列方法进行比较，包括基于提示的模型、传统的迁移学习、大型语言模型（LLM）驱动的聊天机器人模型和概率模型。通过在包括传统学习和零-shot学习在内的各种学习设置下进行的实验，我们得出结论：我们的NLI方法在需求规范分析方面超越了经典的自然语言处理方法以及其他基于LLM和聊天机器人模型的方法。此外，我们分享了所学到的教训，以表征使NLI成为自动化需求工程任务的合适方法的学习设置。

研究如何使用自然语言推理技术（NLI）来自动化软件需求工程任务，包括需求分类、需求规范缺陷的识别和利益相关者需求冲突的检测。

通过设计实验来评估NLI在需求分析中的应用，比较了NLI与其他方法的性能，包括基于提示的模型、传统的迁移学习、LLMs驱动的聊天机器人模型和概率模型。实验结果表明，NLI方法在需求规范分析中的表现优于其他方法。

实验设计了不同的学习设置，包括传统学习和零样本学习。研究结果表明，NLI方法在需求分析中的表现优于其他方法，具有较高的准确率。研究还提出了一些学习设置的建议，可以使NLI成为自动化需求工程任务的合适方法。

最近的相关研究包括使用深度学习技术进行需求工程的研究，如《Deep Learning for Requirements Engineering: A Survey》和《Requirements Engineering with Deep Learning: A Systematic Mapping Study》。