MAC-SQL: A Multi-Agent Collaborative Framework for Text-to-SQL

2023年12月18日
  • 简介
    最近使用大型语言模型(LLMs)的Text-to-SQL方法已经表现出了卓越的性能。然而,这些方法在处理庞大的数据库、复杂的用户查询和错误的SQL结果时仍然遇到困难。为了解决这些挑战,我们提出了一个新颖的基于多智能体协作的LLM框架——MAC-SQL,用于Text-to-SQL任务。我们的框架包括三个智能体:选择器(Selector),负责压缩庞大的数据库并保存用户问题相关的表模式;分解器(Decomposer),将复杂的用户问题分解成更简单的子问题并逐步解决;以及细化器(Refiner),负责验证和完善有缺陷的SQL查询。我们在两个Text-to-SQL数据集BIRD和Spider上进行了全面的实验,BIRD测试集上的执行准确率达到了59.59%,达到了最先进水平。此外,我们还开源了一个基于Code Llama 7B的指令微调模型SQL-Llama,以及一个基于BIRD和Spider训练数据的智能体指令数据集。SQL-Llama模型在BIRD和Spider的开发集上表现出了令人鼓舞的结果。然而,与GPT-4相比,仍有明显的提升潜力。我们的代码和数据可在https://github.com/wbbeyourself/MAC-SQL上公开获取。
  • 图表
  • 解决问题
    MAC-SQL:一个用于Text-to-SQL任务的多智能体协作框架,旨在解决处理大型数据库、复杂用户查询和错误SQL结果的困难。
  • 关键思路
    该框架包括三个代理:选择器、分解器和细化器,分别负责缩小数据库范围、将复杂问题分解为简单问题并逐步解决以及验证和完善SQL查询。
  • 其它亮点
    该论文在两个Text-to-SQL数据集BIRD和Spider上进行了全面实验,取得了59.59%的最新执行准确率,并开源了一个指令微调模型SQL-Llama和一个基于BIRD和Spider的代理指令数据集。该论文的亮点还包括使用了大型语言模型和多智能体协作框架,以及实现了最新的执行准确率。
  • 相关研究
    最近的相关研究包括使用大型语言模型的Text-to-SQL方法,如GPT-4和Code Llama。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论