NL2KQL: From Natural Language to Kusto Query

2024年04月03日
  • 简介
    数据的规模和复杂度正在迅速增长。精通数据库查询语言对于编写有效的查询至关重要。随着编码助手的普及,增强数据库查询语言的机会也越来越大。Kusto查询语言(KQL)是一种广泛使用的查询语言,用于大型半结构化数据,例如日志、遥测和时间序列,用于大数据分析平台。本文介绍了一种创新的框架NL2KQL,该框架使用大型语言模型(LLMs)将自然语言查询(NLQs)转换为KQL查询。所提出的NL2KQL框架包括几个关键组件:模式细化器,它将模式缩小到最相关的元素;Few-shot选择器,它动态选择来自少量样本数据集的相关示例;查询细化器,它修复KQL查询中的语法和语义错误。此外,本研究还概述了一种生成合法的大规模合成NLQ-KQL对的方法,这些对在特定数据库上下文中是有效的。为了验证NL2KQL的性能,我们利用一系列在线(基于查询执行)和离线(基于查询解析)指标。通过消融研究,检验了每个框架组件的重要性,并公开了用于基准测试的数据集。这项工作是首次尝试,并与现有基线进行比较以证明其有效性。
  • 图表
  • 解决问题
    将自然语言查询转换为KQL查询的自动化问题
  • 关键思路
    使用大型语言模型将自然语言查询转换为KQL查询,并通过Schema Refiner、Few-shot Selector和Query Refiner等组件进行优化和修复
  • 其它亮点
    NL2KQL框架包括多个组件以提高性能,通过在线和离线指标验证了其有效性,提供了用于基准测试的数据集,该工作是首个解决自然语言查询转换为KQL查询的自动化问题的工作
  • 相关研究
    与本文相关的研究包括使用神经网络的自然语言查询到SQL查询的自动化转换,以及使用深度学习进行自然语言查询到SPARQL查询的转换
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论