Question-Analysis Prompting Improves LLM Performance in Reasoning Tasks

虽然大型语言模型在许多领域有改变的潜力，但它们在推理任务中的表现仍不如人类。现有的方法是让模型进行逐步计算，但本研究探讨了一个问题：让大型语言模型分析问题是否会提高其性能？我们提出了一种新的提示策略，称为问题分析提示（QAP），在这种策略中，模型在解决问题之前被提示用$n$个单词解释问题。$n$的值影响模型生成的响应长度。QAP在算术数据集GSM8K、AQuA和SAT以及常识数据集StrategyQA上对GPT 3.5 Turbo和GPT 4 Turbo进行了评估。QAP与其他最先进的提示方法进行了比较，包括思维链（CoT）、计划和解决提示（PS+）和深呼吸（TADB）。QAP在AQuA和SAT数据集上的表现优于所有最先进的提示方法，无论是在GPT3.5还是GPT4上。在75％的测试中，QAP始终排名前两位。QAP表现的一个关键因素是响应长度，详细的响应对于回答更难的问题是有益的，但对于简单的问题则可能产生负面影响。

本论文旨在探讨如何提高语言模型在推理任务中的表现，通过引入一种新的提示策略——问题分析提示（QAP），在解决问题之前要求模型用$n$个词解释问题。

该论文的关键思路是通过引入问题分析提示（QAP）来提高语言模型在推理任务中的表现。相比于现有的方法，QAP 能够使模型更好地理解问题，从而提高模型的表现。

论文在 GSM8K、AQuA、SAT 和 StrategyQA 数据集上评估了 QAP 策略在 GPT 3.5 Turbo 和 GPT 4 Turbo 上的表现，并将其与其他最先进的提示策略进行了比较。实验结果表明，QAP 在 AQuA 和 SAT 数据集上的表现优于其他提示策略，并在 75% 的测试中排名前两位。此外，论文还发现，对于难题，详细的回答有益于提高模型的表现，但对于简单的问题，过于详细的回答可能会产生负面影响。

在最近的相关研究中，有一些研究也探索了如何提高语言模型在推理任务中的表现。例如，一些研究通过引入外部知识来提高模型的表现，而另一些研究则试图通过更好的模型架构来解决这个问题。相关研究的论文标题包括：《Improving Language Understanding by Generative Pre-Training》、《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》等。