SQL-GEN: Bridging the Dialect Gap for Text-to-SQL Via Synthetic Data And Model Merging

文本转SQL系统，将自然语言查询转换为SQL命令，主要在SQLite方言方面取得了显著进展。然而，将这些系统适应于其他SQL方言，如BigQuery和PostgreSQL，仍然具有挑战性，因为SQL语法和函数的多样性。我们介绍了SQL-GEN，这是一个生成高质量方言特定的合成数据的框架，受方言特定的教程指导，并展示了它在创建多个方言的训练数据集方面的有效性。我们的方法显著提高了性能，比之前的方法提高了20％，并减小了与大规模人工注释数据集之间的差距。此外，将我们的合成数据与人工注释数据相结合，可以额外提高3.3％至5.6％的性能。我们还引入了一种新颖的专家混合（MoE）初始化方法，通过合并自注意层并使用方言特定的关键词初始化门，将方言特定的模型集成到统一系统中，从而进一步增强了在不同SQL方言之间的性能。

本论文旨在解决Text-to-SQL系统在适应不同SQL方言（如BigQuery和PostgreSQL）时，由于SQL语法和函数的多样性而面临的挑战。

本文提出了SQL-GEN框架，通过方言特定的教程生成高质量的方言特定的合成数据，用于训练Text-to-SQL系统。本文还提出了一种新颖的Mixture of Experts（MoE）初始化方法，将方言特定的模型集成到统一系统中，进一步提高了跨不同SQL方言的性能。

本文的方法在多个SQL方言上进行了实验，并与人工注释数据进行了比较。结果表明，我们的方法在性能上显著优于以前的方法，提高了20％，并且缩小了与大规模人工注释数据集之间的差距。此外，将我们的合成数据与人工注释数据相结合，还提供了额外的3.3％至5.6％的性能提升。本文还提供了开源代码和使用的数据集。

近期的相关研究包括：《基于神经网络的Text-to-SQL生成》、《在不同SQL方言之间转换SQL查询的方法》等。