ScienceBenchmark: A Complex Real-World Benchmark for Evaluating Natural Language to SQL Systems

自然语言转SQL系统（NL-to-SQL）近来在将自然语言转换为SQL查询方面的准确性显著提高。这种改进归因于基于transformer的语言模型的出现以及Spider基准测试的流行——这是评估NL-to-SQL系统的事实标准。顶级的NL-to-SQL系统的准确率可达85％。然而，Spider主要包含具有少量表、列和条目的简单数据库，这并不反映现实情况。此外，具有特定领域内容的复杂现实世界数据库几乎没有NL/SQL对的训练数据可用，导致现有NL-to-SQL系统的性能不佳。 在本文中，我们介绍了ScienceBenchmark，这是一个新的复杂NL-to-SQL基准，适用于三个真实的高度领域特定数据库。对于这个新基准，SQL专家和领域专家为每个领域创建了高质量的NL/SQL对。为了获得更多数据，我们使用GPT-3生成了合成数据，扩展了少量人工生成的数据。我们展示了我们的基准非常具有挑战性，因为在Spider上表现最好的系统在我们的基准上表现非常差。因此，这个挑战是多方面的：为高度复杂的领域创建NL-to-SQL系统，只有少量手工制作的训练数据，并使用合成数据进行增强。据我们所知，ScienceBenchmark是第一个专为包含具有挑战性的域专家精心验证的训练和测试数据的复杂真实科学数据库而设计的NL-to-SQL基准。

论文试图解决如何为高度复杂的科学数据库创建自然语言到SQL查询的转换系统，以及如何在缺乏训练数据的情况下提高性能。

论文介绍了一个名为ScienceBenchmark的新的复杂的自然语言到SQL查询转换基准测试，涉及三个高度领域特定的真实世界数据库，并使用SQL专家和领域专家创建了高质量的自然语言/SQL对。论文还使用GPT-3生成了合成数据来扩充数据集。作者表明，当前的自然语言到SQL转换系统在该基准测试上表现不佳，因此需要解决为高度复杂的领域创建自然语言到SQL查询转换系统的挑战。

该论文的亮点包括介绍了一个新的复杂的自然语言到SQL查询转换基准测试，使用SQL专家和领域专家创建了高质量的自然语言/SQL对，并使用GPT-3生成了合成数据来扩充数据集。论文还对当前的自然语言到SQL转换系统在该基准测试上的表现进行了评估。

与该论文相关的研究包括自然语言到SQL查询转换系统的其他基准测试，例如Spider基准测试。此外，还有一些研究探索如何使用深度学习技术来提高自然语言到SQL查询转换系统的性能，例如使用transformer-based语言模型。