DIN-SQL: Decomposed In-Context Learning of Text-to-SQL with Self-Correction

解决问题：本篇论文旨在解决复杂的文本到SQL任务的分解问题，以及如何通过分解显著提高大型语言模型在推理过程中的性能。当前，对于像Spider这样具有挑战性的文本到SQL数据集，经过微调的模型和使用LLM的提示方法之间的性能差距非常大。

关键思路：本文的解决方案是将SQL查询分解成子问题，然后将这些子问题的解决方案馈入LLM中，以显著提高LLM的性能。我们展示了三种LLM的实验结果，表明这种方法可以稳定地提高它们的性能约10％，将LLM的准确性推向最先进水平，并且甚至在Spider数据集上击败了大型微调模型。

其他亮点：本文的实验结果表明，将SQL查询分解成子问题可以显著提高LLM的性能。此外，作者还提出了一种自我校正的方法来进一步提高性能。作者使用了三个数据集进行实验，并在GitHub上公开了他们的代码。这项工作表明，将复杂的任务分解成子问题是提高LLM性能的一种有效方法。

关于作者：Mohammadreza Pourreza和Davood Rafiei分别是加拿大阿尔伯塔大学的博士后研究员和教授。Pourreza的研究方向包括自然语言处理和机器学习，他之前的代表作包括“Efficient Large-Scale Distributed Training of Neural Machine Translation Models Using Graphics Processing Units”等。Rafiei的研究方向包括数据库和信息检索，他之前的代表作包括“Efficient and Effective Filtering of XML Documents for Retrieval”等。

相关研究：近期的相关研究包括：“Spider: A Large-Scale Human-Labeled Dataset for Complex and Cross-Domain Semantic Parsing and Text-to-SQL Task”，作者为Tao Yu等，发表在EMNLP 2018上；“Editing-Based SQL Query Generation for Cross-Domain Context-Dependent Questions”，作者为Jingjing Wang等，发表在ACL 2019上。

论文摘要：本文研究将复杂的文本到SQL任务分解为较小的子任务，并探讨这种分解方法如何显著提高大型语言模型在推理过程中的性能。目前，对于挑战性的文本到SQL数据集（如Spider），微调模型的性能与使用LLM的提示方法之间存在显著差距。我们表明，尽管SQL查询具有声明性结构，但可以将其分解成子问题，并将这些子问题的解决方案输入LLM中，从而显著提高其性能。我们对三个LLM的实验表明，这种方法可以稳定地提高其性能约10％，将LLM的准确性推向最先进水平，并甚至在保留的Spider数据集上击败大型微调模型。

内容中包含的图片若涉及版权问题，请及时与我们联系删除