MAGIC: Generating Self-Correction Guideline for In-Context Text-to-SQL

自我纠正是指促使大型语言模型（LLM）修正其之前生成的错误SQL的过程，通常依赖于人工专家手工制定的自我纠正指南，这不仅需要耗费大量的人力成本，而且受到人类在识别LLM响应中所有潜在错误模式方面能力的限制。我们介绍了MAGIC，一种新颖的多智能体方法，可以自动创建自我纠正指南。MAGIC使用三个专门的智能体：一个管理器、一个纠正器和一个反馈智能体。这些智能体协作处理LLM方法在训练集上的失败，以迭代生成和完善针对LLM错误的自我纠正指南，模仿人类过程但不需要人类参与。我们广泛的实验表明，MAGIC的指南优于人工专家创建的指南。我们在实践中发现，MAGIC生成的指南增强了纠正的可解释性，提供了分析LLM在自我纠正中失败和成功原因的见解。我们公开了所有智能体的交互，以促进这个领域的进一步研究，并提供了一个合成数据集，以便未来探索自动生成自我纠正指南。

本论文旨在解决自我纠正问题中的自我纠正指南的手动创建问题，提出了一种自动化创建自我纠正指南的方法。

论文提出了一种名为MAGIC的多智能体方法，使用三个专业代理：管理器、纠正和反馈代理，协作解决LLM方法的失败，以迭代生成和完善针对LLM错误量身定制的自我纠正指南，从而提高LLM的自我纠正能力。

该方法的自我纠正指南优于专业人士创建的指南。指南的生成提高了纠正的可解释性，并提供了分析LLM在自我纠正中失败和成功原因的见解。实验结果表明，MAGIC方法在自我纠正方面表现出色，并提供了一个人工数据集，供未来自我纠正指南自动生成的研究探索使用。

最近的相关研究包括《A Survey of Text-to-SQL Generation Techniques》、《Editing-Based SQL Query Generation for Cross-Domain Context-Dependent Questions》、《Semantic Parsing with Syntax- and Table-Aware SQL Generation》等。