Enhancing Text-to-SQL Translation for Financial System Design

将自然语言问题翻译成SQL查询的任务被称为Text-to-SQL，它是各种商业流程的一部分。自动化这一任务是一个新兴的挑战，它将使软件从业者能够使用自然语言无缝地与关系型数据库进行交互，从而弥合业务需求和软件能力之间的差距。在本文中，我们考虑了大型语言模型（LLM），它们已经在各种自然语言处理任务中取得了最先进的成果。具体来说，我们对Text-to-SQL的性能、评估方法以及输入优化（例如提示）进行了基准测试。根据我们所做的实证观察，我们提出了两个新颖的度量指标，旨在充分衡量SQL查询之间的相似性。总的来说，我们与社区分享了各种发现，特别是如何在Text-to-SQL任务中选择正确的LLM。我们进一步证明，基于树的编辑距离是一种可靠的度量指标，用于评估生成的SQL查询与基准Text2SQL方法的oracle之间的相似性。这个度量指标很重要，因为它使研究人员不需要像以前的研究一样执行计算昂贵的实验，例如执行生成的查询。我们的工作实现了金融领域的用例，因此有助于推进Text2SQL系统的发展和在该领域的实际采用。

论文旨在解决将自然语言问题转化为SQL查询的自动化问题，以便于软件开发人员能够通过自然语言与关系型数据库进行无缝交互，从而弥合业务需求和软件能力之间的差距。

论文采用大型语言模型（LLMs）来解决Text-to-SQL任务，并提出了两个新的度量方法来衡量SQL查询之间的相似度。同时，论文还使用基于树的编辑距离作为一种可靠的度量方法，用于评估生成的SQL查询与标准查询之间的相似度。

论文通过实验验证了不同LLM在Text-to-SQL任务上的性能，并展示了基于树的编辑距离度量方法的可靠性。此外，论文还实现了金融领域的应用案例，并提供了开源代码。

在这个领域中，最近的相关研究包括《Robust Text-to-SQL Generation with Execution-Guided Decoding》、《A Comprehensive Survey of Text-to-SQL Approaches》等。