Tasks People Prompt: A Taxonomy of LLM Downstream Tasks in Software Verification and Falsification Approaches

Prompting已成为利用大型语言模型的新兴能力的主要方法之一[Brown等人。NeurIPS 2020，Wei等人。TMLR 2022，Wei等人。NeurIPS 2022]。在过去的一年中，研究人员和从业者一直在尝试使用提示来发挥LLM的最大作用。通过对80篇论文进行深入的分析，我们研究了软件测试和验证研究社区如何抽象地构建其LLM-enabled解决方案。更具体地说，我们首先想要验证下游任务是否是传达基于提示的解决方案蓝图的适当概念。我们还旨在确定此类任务的数量和性质。为此，我们开发了一个新的下游任务分类法，可以在涵盖测试、模糊测试、调试、漏洞检测、静态分析和程序验证方法的相当广泛的软件工程问题谱系中，准确定位一些工程模式。

论文旨在研究使用Prompt的方法来解决软件工程中的测试和验证问题，验证下游任务的概念是否适合传达基于Prompt的解决方案的蓝图，以及确定这些解决方案中的任务数量和性质。

论文提出了一个新的下游任务分类法，用于识别软件工程问题中的工程模式，包括测试、Fuzzing、调试、漏洞检测、静态分析和程序验证方法。

论文对80篇论文进行了深入分析，提出了一个新的下游任务分类法，并在广泛的软件工程问题领域进行了验证。实验使用了多个数据集，并提供了开源代码。此外，论文还指出了未来研究的方向。

最近的相关研究包括Brown等人的论文《NeurIPS 2020》、Wei等人的论文《TMLR 2022》和《NeurIPS 2022》。