Enhancing Text-to-SQL Translation for Financial System Design

Text-to-SQL是将自然语言问题翻译成SQL查询的任务，是各种业务流程的一部分。其自动化是一个新兴的挑战，将使软件从业人员能够使用自然语言无缝地与关系数据库进行交互，从而弥合业务需求和软件能力之间的差距。在本文中，我们考虑了大型语言模型（LLMs），它们在各种自然语言处理任务中已经达到了最先进的水平。具体而言，我们对Text-to-SQL性能、评估方法以及输入优化（例如提示）进行了基准测试。根据我们所做的实证观察，我们提出了两个新颖的度量标准，旨在充分衡量SQL查询之间的相似性。总体而言，我们与社区分享了各种发现，特别是如何在Text-to-SQL任务中选择正确的LLM。我们进一步证明，基于树的编辑距离构成了一种可靠的度量标准，用于评估生成的SQL查询与基准Text2SQL方法的oracle之间的相似性。这个度量标准很重要，因为它使研究人员不必像之前的工作那样执行生成的查询等计算昂贵的实验。我们的工作实现了金融领域的使用案例，因此有助于推进Text2SQL系统的发展并在该领域实际应用。

本论文旨在解决将自然语言问题转化为SQL查询的任务，探讨如何使用大型语言模型（LLMs）自动化该任务，提高软件从业者与关系数据库的交互效率。

论文提出使用大型语言模型（LLMs）来自动化文本到SQL的转换任务，并且提出了两个新的度量方法来衡量SQL查询之间的相似度，同时使用树形编辑距离作为可靠的度量方法来评估生成的SQL查询与标准查询之间的相似度。

论文使用了金融领域的应用案例来展示其方法的实用性，并且提供了详细的实验设计和数据集信息。此外，论文还讨论了如何选择适合的LLM来处理文本到SQL的转换任务。

在最近的相关研究中，也有一些关于文本到SQL转换任务的研究，例如ACL 2020的论文《Editing-Based SQL Query Generation for Cross-Domain Context-Dependent Questions》和EMNLP 2020的论文《Neural Text-to-SQL Generation: A Comparative Study》等。