DataAgent: Evaluating Large Language Models' Ability to Answer Zero-Shot, Natural Language Queries

传统的数据集分析和提取有意义信息的过程通常耗时费力。以往的研究已经确定了手动、重复的编码和数据收集是阻碍数据科学家进行更细致劳动和高级项目的主要障碍。为了解决这个问题，我们评估了OpenAI的GPT-3.5作为“语言数据科学家”（LDS），可以从给定的数据集中推断出关键发现，包括相关性和基本信息。该模型在多个基准数据集上进行了测试，以评估其在多个标准下的表现，包括基于库（如NumPy、Pandas、Scikit-Learn和TensorFlow）的数据科学代码生成任务，并在正确回答基准数据集相关的给定数据科学查询方面取得了广泛成功。LDS使用了各种新颖的提示工程技术来有效地回答给定的问题，包括Chain-of-Thought强化和SayCan提示工程。我们的研究结果表明，利用大型语言模型进行低级、零-shot数据分析具有巨大的潜力。

论文试图通过使用OpenAI的GPT-3.5作为“语言数据科学家”，从给定的数据集中提取关键信息，包括相关性和基本信息，以解决数据科学家面临的手动、重复编码和数据收集的问题。这是否是一个新问题？

论文的关键思路是使用GPT-3.5作为一种新的方法，通过各种新颖的提示工程技术，包括思维链强化和SayCan提示工程，从数据集中提取关键信息。相比当前领域的研究状况，这篇论文提出了一种新的思路。

论文使用了多个基准数据集进行测试，评估了GPT-3.5在涉及NumPy、Pandas、Scikit-Learn和TensorFlow等库的数据科学代码生成任务中的性能。实验结果表明，GPT-3.5能够正确回答与基准数据集相关的数据科学问题。该论文的亮点包括使用新颖的提示工程技术和展示了使用大型语言模型进行零样本数据分析的巨大潜力。

在这个领域中，最近的相关研究包括使用语言模型进行数据分析的其他工作，如GPT-2和BERT，以及使用自动机器学习技术进行数据分析的研究。