Prompting Frameworks for Large Language Models: A Survey

自从OpenAI开发了功能强大的AI Chatbot ChatGPT以来，大型语言模型(LLMs)在学术界和工业界都取得了重大进展，带来了许多领域的基本工程范式转变。虽然LLMs非常强大，但是最好利用它们的力量的关键在于“提示(prompt)”。然而，包括ChatGPT在内的LLMs本身存在一些固有限制：1）训练数据的时间滞后，2）缺乏执行外部动作的物理能力。最近，我们观察到利用基于提示的工具更好地利用LLMs的力量来进行下游任务的趋势，但由于该领域的快速发展，缺乏系统的文献和标准化术语。因此，在这项工作中，我们调查了相关提示工具，并推广了“提示框架”(PF)的概念，即管理、简化和促进与大型语言模型的交互的框架。我们将PF的生命周期定义为一个分层结构，从底层到顶层，分别为：数据层、基础层、执行层和服务层。我们还系统地描述了新兴PF领域的整体景观，并讨论了潜在的未来研究和挑战。为了持续跟踪这个领域的发展，我们在https://github.com/lxx0628/Prompting-Framework-Survey维护了一个代码库，它可以成为该领域学术界和工业界的有用资源共享平台。

本文试图介绍Prompting Framework的概念及其在管理、简化和促进与大型语言模型的交互方面的应用，以解决大型语言模型的局限性问题。

Prompting Framework是一个管理、简化和促进与大型语言模型的交互的框架，包括数据层、基础层、执行层和服务层，并通过prompt-based工具来更好地利用大型语言模型的能力。

本文系统地描述了Prompting Framework的概念、框架和应用，并讨论了未来的研究方向和挑战。实验使用了多个数据集，并提供了开源代码。值得进一步研究的工作包括如何进一步提高Prompting Framework的效率和性能。

最近的相关研究包括GPT-3和其它大型语言模型的研究，以及在prompt-based工具方面的研究，例如PROMPT、P-tuning和P-CLIP等。