Contrastive Chain-of-Thought Prompting

随着链式思维提示等引导方法的出现，模型规模迅速增长，这导致了语言模型推理能力的显著提高。同时，模型在组合泛化方面仍然存在问题，在许多基于推理的基准测试中远远达不到人类表现水平。借鉴链式思维提示的成功经验，并受到上下文感知解码（CAD）的启发，我们探索了基于输入的对比方法，以进一步鼓励链式思维提示所诱导的推理类型。虽然在数据集和模型之间稳定这些结果仍需努力，但我们发现的改进值得进一步研究基于输入的上下文感知推理引导方法。

论文旨在解决语言模型推理中的组合泛化问题，即如何使模型更好地进行推理。同时，论文还试图探索基于输入的对比方法，以进一步促进链式思考提示所诱导的推理类型。

论文提出了基于输入的对比方法，以进一步提高语言模型推理能力。该方法结合了链式思考提示和上下文感知解码的思想，通过对比不同输入的表示来引导模型进行推理。

论文的实验结果表明，基于输入的对比方法能够显著提高模型在推理任务上的性能。论文还提出了一些改进方法，如使用多个对比输入和引入更多的负样本。论文使用了多个数据集进行实验，并对不同模型的性能进行了比较。论文还开源了代码，方便其他研究者进行复现和扩展。

在这个领域中，最近的相关研究包括《GPT-3》、《COMET》和《GQA》等。