Hypothesis Testing Prompting Improves Deductive Reasoning in Large Language Models

将不同形式的提示与预训练的大型语言模型相结合，在推理任务（如思维链提示）上取得了显着的成果。然而，随着在更复杂的推理上的测试，这些方法也暴露出了无效推理和虚构推理路径等问题。本文提出了“假设测试提示”，在中间推理步骤中添加了结论假设、向后推理和事实验证。假设测试提示涉及多个假设，并颠倒了导致其独特正确答案的结论验证。在两个具有挑战性的演绎推理数据集ProofWriter和RuleTaker上的实验表明，假设测试提示不仅显著提高了效果，而且生成了更合理和标准化的推理过程。

本论文旨在解决通过结合预训练大型语言模型和不同形式提示来进行推理任务时出现的无效推理和虚构推理路径的问题，提出了一种名为“假设测试提示”的方法，该方法在中间推理步骤中添加了结论假设、反向推理和事实验证的步骤，以验证正确答案的合理性。

假设测试提示通过添加结论假设、反向推理和事实验证的步骤，使得推理过程更加合理和规范化，相比当前领域的研究，该方法具有较大的创新性和实用性。

论文在两个具有挑战性的演绎推理数据集ProofWriter和RuleTaker上进行了实验，结果表明，假设测试提示不仅显著提高了推理效果，而且生成了更加合理和规范化的推理过程。此外，论文还提供了开源代码和数据集，为相关研究提供了参考。

在最近的研究中，也有一些关于结合不同形式提示和预训练大型语言模型进行推理任务的研究，例如Chain-of-Thought提示。