LOGIC-LM++: Multi-Step Refinement for Symbolic Formulations

本文研究了大型语言模型（LLMs）在复杂推理任务中的局限性。虽然最近的研究已经开始使用形式语言作为推理任务的中间表示，但它们经常面临准确生成和完善这些形式规范以确保正确性的挑战。为了解决这些问题，本文提出了Logic-LM++，它是Logic-LM的改进版本。它利用LLMs进行成对比较的能力，允许评估LLM建议的完善。本文证明了Logic-LM++在三个数据集FOLIO、ProofWriter和AR-LSAT的自然语言推理任务中优于Logic-LM和其他现代技术，在标准提示、思路提示和Logic-LM上平均提高了18.5％、12.3％和5％。

本论文旨在研究大型语言模型（LLMs）在复杂推理任务中的局限性，并提出一种名为Logic-LM++的改进方法，以提高推理性能。

Logic-LM++利用LLMs进行成对比较，以评估LLM建议的细化方案，从而提高推理性能。

论文在三个数据集上进行了实验，包括FOLIO、ProofWriter和AR-LSAT，平均改进了18.5%的标准提示、12.3%的思路链提示和5%的Logic-LM。

最近的相关研究包括使用形式语言作为推理任务的中间表示的工作，以及使用不同技术改进LLMs的性能的工作，如GPT-3等。