MCS-SQL: Leveraging Multiple Prompts and Multiple-Choice Selection For Text-to-SQL Generation

最近大型语言模型（LLMs）的进展使得基于上下文学习（ICL）的方法在文本到SQL任务中显著优于微调方法。然而，它们的性能仍然远低于包括BIRD在内的具有复杂模式和查询的基准测试中人类专家的性能。本研究考虑了LLMs对提示的敏感性，并引入了一种新方法，利用多个提示来探索更广泛的搜索空间以寻找可能的答案并有效地汇总它们。具体来说，我们通过使用多个提示来鲁棒地改进数据库模式，进行模式链接。然后，我们基于改进后的模式和多样化的提示生成各种候选SQL查询。最后，根据它们的置信度得分过滤候选查询，并通过多项选择呈现给LLM以获取最佳查询。在BIRD和Spider基准测试中进行评估时，所提出的方法分别实现了65.5％和89.6％的执行准确性，显著优于以前的ICL方法。此外，我们在生成的查询的准确性和效率方面在BIRD上建立了新的SOTA性能。

本文旨在提高文本到SQL任务的准确性，尤其是在处理复杂模式和查询时。同时，通过探索多个提示来提高大语言模型的鲁棒性。

本文提出了一种利用多个提示进行数据库模式链接和SQL查询生成的方法，以提高文本到SQL任务的准确性。

本文的方法在BIRD和Spider数据集上都取得了很好的表现，尤其是在BIRD数据集上，实现了新的最佳结果。此外，本文提出的方法还可以用于其他自然语言处理任务中。

最近的相关研究包括使用大语言模型进行文本到SQL任务的研究，以及利用多个提示来提高模型鲁棒性的研究。其中一些论文包括《Editing-based SQL Query Generation for Cross-Domain Context-Dependent Questions》和《Improving Robustness of Text-to-SQL Models via Multi-Task Learning》。