Using Large Language Models for Natural Language Processing Tasks in Requirements Engineering: A Systematic Guideline

大型语言模型(LLMs)是自动化需求工程(RE)任务的基石，支撑了该领域的最新进展。它们预先训练的自然语言理解对于有效地针对特定的RE任务进行定制至关重要。然而，在众多现有的架构中选择合适的LLM，并对其进行微调以解决给定任务的复杂性，对于RE领域的研究人员和从业者来说是一个重大挑战。有效地利用LLMs解决RE中的自然语言处理问题需要双重理解：首先是对LLMs内部工作原理的理解，其次是对选择和调整LLMs以解决NLP4RE任务的系统方法的理解。本章旨在为读者提供有关LLMs的基本知识。随后，它提供了一个全面的指南，旨在帮助学生、研究人员和从业者利用LLMs解决其特定目标。通过提供LLMs工作原理的见解和实用指南，本章有助于改进未来利用LLMs解决RE挑战的研究和应用。

如何有效地选择和调整大型语言模型（LLMs）来解决需求工程（RE）中的自然语言处理（NLP）问题是一个重要的挑战。

本文提供了一个系统的方法来选择和调整LLMs，以解决RE领域中的NLP问题。这个方法包括对LLMs内部工作原理的理解和实践指南。

本文提供了详细的实践指南，包括选择合适的数据集、调整LLMs的超参数以及评估模型的性能。此外，本文还提供了一个用于评估LLMs性能的基准测试套件，并且开源了相关代码。

最近的相关研究包括：'BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding'、'RoBERTa: A Robustly Optimized BERT Pretraining Approach'、'XLNet: Generalized Autoregressive Pretraining for Language Understanding'等。