Dubo-SQL: Diverse Retrieval-Augmented Generation and Fine Tuning for Text-to-SQL

目前自动文本到SQL的最先进技术仍远远达不到BIRD-SQL基准测试上执行准确性(EX)方面的专家水平。最准确的方法也很慢且昂贵。为了推进文本到SQL的最先进技术，同时降低成本和提高速度，我们探索了低成本微调、新颖的多样化检索增强生成(RAG)方法以及新的输入和输出格式，这些方法有助于大型语言模型(LLMs)实现更高的EX。我们介绍了两种新方法，Dubo-SQL v1和v2。Dubo-SQL v1在BIRD-SQL的测试集上创造了新的EX记录。Dubo-SQL v2在BIRD-SQL开发集上实现了更高的性能。Dubo-SQL v1依赖于来自OpenAI的LLMs，但使用低成本的GPT-3.5 Turbo，同时超过了使用更昂贵的GPT-4的下一个最佳模型的表现。Dubo-SQL v1的性能比使用GPT-3.5的下一个最佳模型提高了20%以上。Dubo-SQL v2使用GPT-4 Turbo和RAG代替微调来提高EX。

提高文本转SQL的准确率和速度，降低成本

使用低成本的微调、检索增强生成和新的输入输出格式，结合大型语言模型，提高文本转SQL的准确率和速度

提出了两种新方法Dubo-SQL v1和v2，其中Dubo-SQL v1使用低成本的GPT-3.5 Turbo超越了使用昂贵的GPT-4的模型，并超过了使用GPT-3.5的下一个最佳模型超过20%的性能；Dubo-SQL v2使用GPT-4 Turbo和RAG进一步提高了执行准确率；实验使用了BIRD-SQL基准数据集

当前的研究中，自动文本转SQL的准确率仍然远低于人类专家的表现，最准确的方法也往往速度较慢、成本较高。