Calibrating Reasoning in Language Models with Internal Consistency

大型语言模型（LLMs）在各种推理任务中展示了惊人的能力，辅助技术如“思维链”提示（CoT prompting）引导口头推理。然而，LLMs通常会生成带有明显错误和矛盾的文本，这引发了人们对它们能够稳健地处理和利用生成的推理的能力的怀疑。在这项工作中，我们通过内部表征的视角研究LLMs中的CoT推理，重点关注这些表征受到生成的推理的影响。我们的初步分析表明，虽然生成的推理提高了答案的准确性，但模型中间层的内部表征与最终层的内部表征之间存在不一致，可能会削弱它们的推理过程的可靠性。为了解决这个问题，我们提出了内部一致性作为模型自我评估的一种度量方法，通过检查从中间层解码的潜在预测的一致性来衡量模型的置信度。对不同模型和数据集进行的广泛实证研究表明，内部一致性有效地区分了正确和错误的推理路径。在此基础上，我们提出了一种新的方法来校准CoT推理，通过加权高内部一致性的推理路径，从而显著提高推理性能。进一步的分析揭示了注意力和前馈模块在不同层之间存在不同的模式，为内部不一致性的出现提供了见解。总之，我们的结果表明，使用内部表征进行LLMs的自我评估具有潜力。

本论文旨在通过研究大型语言模型内部表示的一致性，探究链式思考提示对大型语言模型的影响，以及如何提高大型语言模型的推理能力。

通过检查中间层解码的潜在预测之间的一致性，将内部一致性作为模型信心的度量，提出了一种新的链式思考校准方法，可以显著提高推理性能。

论文通过实验研究表明，内部一致性可以有效区分正确和错误的推理路径，并提出了一种新的链式思考校准方法，可以显著提高推理性能。论文还分析了不同层次的注意力和前馈模块之间的不同模式，为理解内部不一致性的出现提供了洞察。

最近的相关研究包括《大型语言模型的可解释性和可控性》、《利用自然语言推理的大型语言模型》等。