Benchmarking the Text-to-SQL Capability of Large Language Models: A Comprehensive Evaluation

大型语言模型(LLMs)已成为推进文本到SQL任务的强大工具，明显优于传统方法。然而，作为一个新兴的研究领域，对于最佳提示模板和设计框架还没有共识。此外，现有的基准测试不足以探索LLMs在文本到SQL过程的各个子任务中的性能，这阻碍了对LLMs认知能力的评估和基于LLMs的解决方案的优化。为了解决上述问题，我们首先构建了一个新的数据集，旨在减少LLMs过拟合的风险。然后，我们制定了五个评估任务，全面评估不同LLMs在文本到SQL过程中的性能。我们的研究强调了LLMs之间的性能差异，并提出了针对每个任务量身定制的最佳上下文学习解决方案。这些发现为增强基于LLMs的文本到SQL系统的开发提供了宝贵的见解。

本文旨在解决Text-to-SQL任务中的问题，即缺乏一致的最佳提示模板和设计框架，以及现有基准测试无法全面评估LLMs在Text-to-SQL过程的各个子任务中的表现。

本文构建了一个新的数据集，旨在降低LLMs过度拟合的风险，并提出了五个评估任务来全面评估不同LLMs在Text-to-SQL过程中的性能。研究发现LLMs之间的性能差异，并针对每个任务提出了最佳的上下文学习解决方案。

实验结果表明，LLMs在Text-to-SQL任务中的表现优于传统方法，同时也揭示了LLMs之间的性能差异。本文提出的新数据集和评估任务可用于未来的研究。

最近的相关研究包括《Editing-Based SQL Query Generation for Cross-Domain Context-Dependent Questions》、《Neural Execution of Graph Queries with Attributed Nodes》等。