Hierarchical Prompting Taxonomy: A Universal Evaluation Framework for Large Language Models

评估大型语言模型（LLMs）在解决不同任务中的有效性对于了解它们的优势和劣势至关重要。传统的评估技术通常在数据集中统一应用单一提示策略，而不考虑任务复杂度的不同程度。我们引入了分层提示分类法（HPT），这是一种采用由五种独特的提示策略组成的分层提示框架（HPF）的分类法，从简单到复杂地排列，以更精确地评估LLMs并提供更清晰的视角。该分类法根据分类法的规则为数据集和LLMs分配一个称为分层提示得分（HP-Score）的分数，提供了对它们解决不同任务的能力的细致理解，并提供了任务复杂度的通用度量。此外，我们引入了自适应分层提示框架，它自动选择适当的提示策略来完成每个任务。本研究使用四个经过指令调整的LLMs（即Llama 3 8B、Phi 3 3.8B、Mistral 7B和Gemma 7B）在四个数据集（BoolQ、CommonSenseQA（CSQA）、IWSLT-2017 en-fr（IWSLT）和SamSum）上比较手动和自适应分层提示框架。实验证明了HPT的有效性，提供了一种可靠的比较不同任务和LLM能力的方法。本文导致了一种通用的评估指标的开发，该指标可用于评估数据集的复杂度和LLMs的能力。手动HPF和自适应HPF的实现是公开可用的。

论文旨在通过引入分层提示分类法和自适应分层提示框架来更准确地评估大型语言模型在解决不同任务上的能力。

引入Hierarchical Prompting Taxonomy（HPT）和Adaptive Hierarchical Prompt framework，通过分层提示策略的自适应选择和分数评估方法来评估大型语言模型的能力。

实验比较了手动和自适应分层提示框架在四个数据集上的效果，并提供了一种可靠的方法来比较不同任务和大型语言模型的能力。研究还引入了分层提示得分（HP-Score），可用于评估数据集的复杂性和大型语言模型的能力。

最近的相关研究包括《GPT-3：语言模型的新里程碑》和《BERT：预训练的深度双向转换编码器表示》等。