CoE-SQL: In-Context Learning for Multi-Turn Text-to-SQL with Chain-of-Editions

2024年05月04日
  • 简介
    最近,大型语言模型(LLMs)在各种领域和任务中展示了令人印象深刻的能力。我们研究了多轮文本转SQL任务中提示设计的问题,并尝试增强LLMs在生成SQL查询时的推理能力。在对话上下文中,由于上下文依赖性,当前的SQL查询可以通过仅进行少量操作从前面的SQL查询中修改。我们介绍了我们的方法CoE-SQL,它可以通过编辑链提示LLMs基于先前生成的SQL查询生成SQL查询。我们还进行了广泛的消融研究,以确定我们方法的最佳配置。我们的方法稳定地优于不同的上下文学习基线,并在两个基准SParC和CoSQL上使用LLMs实现了最先进的性能,也与SOTA微调模型竞争。
  • 图表
  • 解决问题
    研究如何在多轮文本转SQL任务中提高大型语言模型的推理能力,解决上下文依赖性对SQL查询的影响问题。
  • 关键思路
    提出了一种名为CoE-SQL的方法,通过编辑链提示大型语言模型在先前生成的SQL查询的基础上生成新的SQL查询,从而提高其推理能力。
  • 其它亮点
    论文在SParC和CoSQL两个基准数据集上进行了实验,并进行了广泛的消融研究来确定最佳配置。CoE-SQL方法表现稳定,优于不同的上下文学习基线,并在LLMs上实现了最先进的性能,与最先进的微调模型相当。
  • 相关研究
    最近的相关研究包括《Spider: A Large-Scale Human-Labeled Dataset for Complex and Cross-Domain Semantic Parsing and Text-to-SQL Task》和《Editing-Based SQL Query Generation for Cross-Domain Context-Dependent Questions》。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论