Relevant or Random: Can LLMs Truly Perform Analogical Reasoning?

类比推理是人类独特的能力，可以通过将相关的过去经验策略转移来解决陌生的挑战。心理学中的一个关键发现是，与不相关的过去经验相比，回忆相关的经验可以帮助人类更好地处理新任务。巧合的是，自然语言处理（NLP）社区最近也发现，在上下文中自动生成相关的示例可以帮助大型语言模型（LLM）比手工制作的提示更好地解决给定的问题。然而，尚不清楚相关性是否是引发这种能力的关键因素，即LLM是否比不相关的示例更能从自动生成的相关示例中受益？在这项工作中，我们系统地探索了LLM是否真正能够在各种推理任务中执行类比推理。通过广泛的实验和分析，我们表明自动生成的随机示例可以令人惊讶地实现相当甚至更好的性能，例如，在随机生物学示例的GSM8K上提高了4%的性能。我们发现，自动生成的示例的准确性是关键因素，随后设计了两种改进方法，显著降低了推理成本。总体而言，我们旨在深入了解LLM类比推理，并希望这项工作能够激发进一步研究自动生成上下文的设计。

本论文旨在探究大型语言模型（LLMs）是否能够通过自动生成相关的例子来进行类比推理，以及相关性是否是这种能力的关键因素。

通过实验和分析，论文发现LLMs在进行类比推理时，使用自动生成的随机例子可以实现与使用相关例子相当甚至更好的性能，并且例子的准确性是关键因素。

论文通过大量实验和分析证明了LLMs可以在各种推理任务中进行类比推理，并且使用自动生成的例子可以提高性能。论文提出了两种改进方法，可以显著降低推理成本。论文还使用了多个数据集进行实验，并开源了代码。

最近的相关研究包括《GPT-3: Language Models are Few-Shot Learners》和《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》等。