Case2Code: Learning Inductive Reasoning with Synthetic Data

本文讨论的是大型语言模型（LLMs）的一个印象深刻的能力，即复杂推理。大多数LLMs擅长演绎推理，例如链式思维提示或迭代工具使用，以逐步解决具有挑战性的任务。在本文中，我们希望专注于评估和教授LLMs进行归纳推理，即LLMs应该通过观察示例或顺序转换来推断潜在规则。然而，收集大规模和多样化的人工归纳数据是具有挑战性的。我们专注于在代码领域中进行数据合成，并通过利用程序的表达能力和正确性提出了一个Case2Code任务。具体而言，我们收集了一组多样化的可执行程序，为每个程序合成输入输出转换，并强制LLMs基于合成的I/O案例推断出底层代码实现。我们首先评估了代表性的LLMs在合成的Case2Code任务上的表现，并证明Case-to-code归纳对LLMs来说是具有挑战性的。然后，我们合成了大规模的Case2Code训练样本，以训练LLMs进行归纳推理。实验结果表明，这种归纳训练不仅有助于在分布Case2Code性能上表现出色，还增强了受过训练的LLMs的各种编码能力，展示了通过合成数据学习归纳推理的巨大潜力。

论文旨在评估和教授大型语言模型进行归纳推理的能力，通过在代码领域中合成数据来解决数据收集的挑战。

通过收集可执行程序、为每个程序合成输入输出转换，强制LLMs基于合成的I/O案例推断出底层代码实现，从而实现归纳推理。

论文提出了Case2Code任务，使用合成数据来训练LLMs进行归纳推理，实验结果表明这种训练不仅有助于在分布式Case2Code任务中的表现，而且还增强了训练过的LLMs的各种编码能力。

最近的相关研究包括使用深度学习进行编码和解码的自然语言处理技术，以及使用合成数据进行训练的方法。