DIN-SQL: Decomposed In-Context Learning of Text-to-SQL with Self-Correction

目前，在像Spider这样的数据集上，对于文本到SQL的挑战性任务，微调模型和使用大型语言模型（LLMs）的提示方法之间存在显著差距。为了提高LLMs在推理过程中的性能，我们研究了如何将任务分解为较小的子任务可以是有效的。特别地，我们展示了将生成问题分解为子问题并将这些子问题的解决方案输入LLMs可以是显著提高它们性能的有效方法。我们使用三个LLMs进行实验，结果表明，这种方法可以稳定地将它们的简单少样本性能提高约10％，将LLMs的准确性推向SOTA或超越它。在Spider的保留测试集上，SOTA的执行准确性为79.9，使用我们的方法时，此篇摘要写作时的新SOTA为85.3。我们的方法在上下文学习方面的表现至少比许多经过大量微调的模型提高了5％。此外，在BIRD基准测试上进行评估时，我们的方法在其保留测试集上实现了55.9％的执行准确性，创造了新的SOTA。

改进大语言模型在文本转SQL任务上的表现，通过将任务分解为子任务并将子任务解决方案馈入大语言模型中，从而提高其性能。

将文本转SQL任务分解为子任务，先解决子任务，再将结果馈入大语言模型，从而显著提高其性能。

论文在三个大语言模型上进行了实验，结果表明该方法可以将简单few-shot性能提高约10％，在Spider数据集上超过了SOTA，并在BIRD基准测试中实现了新的SOTA。此外，论文还提出了一种上下文学习的方法，可以将性能提高至少5％，值得进一步研究。

在该领域的相关研究包括：《Spider: A Large-Scale Human-Labeled Dataset for Complex and Cross-Domain Semantic Parsing and Text-to-SQL Task》、《Improving Text-to-SQL Evaluation Methodology》等。