The Benefits of a Concise Chain of Thought on Problem-Solving in Large Language Models

本文介绍了简洁思维链（CCoT）提示。我们比较了标准的思维链（CoT）和CCoT提示，以了解简洁性如何影响回答长度和正确答案的准确性。我们使用GPT-3.5和GPT-4对多项选择问答（MCQA）基准进行了评估。CCoT将GPT-3.5和GPT-4的平均响应长度均降低了48.70％，同时对解决问题的性能影响微乎其微。然而，在数学问题上，CCoT对GPT-3.5的性能造成了27.69％的惩罚。总体而言，CCoT导致每个标记成本降低了22.67％。这些结果对使用LLM解决具有CoT提示工程技术的现实世界问题的AI系统工程师具有实际意义。此外，这些结果为研究LLM中逐步推理的新兴行为的AI研究人员提供了更一般的见解。

本论文旨在介绍一种简洁的思维链（CCoT）提示方法，以解决使用LLMs解决实际问题时CoT提示方法所面临的问题。作者试图比较标准CoT和CCoT提示对回答长度和正确答案准确性的影响。

本论文提出了一种简洁的思维链（CCoT）提示方法，通过减少提示的冗余性来提高LLMs的回答效率。实验结果表明，CCoT可以显著降低回答长度，而对问题解决能力的影响很小。

实验中使用了GPT-3.5和GPT-4，并使用了多项选择问答（MCQA）基准测试。CCoT减少了平均回答长度48.70％，而对解决问题的表现影响很小。但是，在数学问题上，GPT-3.5与CCoT相比会导致27.69％的性能损失。总体而言，CCoT可以降低22.67％的每个标记成本。

最近的相关研究包括使用CoT提示来改善LLMs的性能，以及探索LLMs中逐步推理的新颖行为。