Analyzing the Effectiveness of Large Language Models on Text-to-SQL Synthesis

本研究探讨了使用大型语言模型（LLMs）进行文本到SQL程序合成的各种方法，重点关注了所得到的结果和见解。使用流行的Text-to-SQL数据集spider，目标是输入自然语言问题和数据库模式，输出正确的SQL SELECT查询。最初的方法是微调本地和开源模型以生成SELECT查询。经过QLoRa对WizardLM的WizardCoder-15B模型在spider数据集上进行微调后，生成的查询的执行准确率达到了61％的高水平。第二种方法是使用经过微调的gpt-3.5-turbo-16k（Few-shot）+ gpt-4-turbo（Zero-shot error correction），执行准确率达到了82.1％的高水平。在所有不正确的查询中，大多数可以归为七个不同类别中的错误：选择错误的列或列顺序、按错误的列进行分组、预测条件中的错误值、使用与基本事实不同的聚合、额外或太少的JOIN子句、Spider数据集的不一致性以及完全不正确的查询结构。大多数，如果不是所有的查询都属于这些类别，了解LLM程序合成的故障仍然存在的地方以及可以改进的地方是很有见解的。

使用大型语言模型进行文本到SQL程序合成的准确性问题

使用不同的方法，如fine-tune和few-shot，来提高文本到SQL程序合成的准确性，并分析错误查询的七个类别。

使用了流行的Text-to-SQL数据集spider，通过fine-tune和few-shot等方法，分别达到了61%和82.1%的执行准确性。对错误查询进行了七个类别的分析。

最近的相关研究包括：《SQLNet: Generating Structured Queries From Natural Language Without Reinforcement Learning》、《Spider: A Large-Scale Human-Labeled Dataset for Complex and Cross-Domain Semantic Parsing and Text-to-SQL Task》等。