LLMs for Science: Usage for Code Generation and Data Analysis

大型语言模型(LLMs)被吹捧为能够提高当今工作生活中许多领域的生产力。科学研究作为一项工作领域也不例外：基于LLM的工具协助科学家日常工作的潜力已经成为跨学科高度讨论的话题。然而，我们只是刚刚开始研究这个主题。LLMs的潜力如何在研究实践中实现仍不清楚。通过这项研究，我们首次提供了关于在研究过程中使用LLMs的实证证据。我们调查了一组基于LLM的科学研究用例，并进行了第一项研究，以评估当前工具的帮助程度。在本文中，我们特别报告了与软件工程相关的用例，例如生成应用程序代码和开发数据分析脚本。虽然我们研究的似乎是简单的用例，但各种工具的结果差异很大。我们的结果强调了LLM-based工具的潜力，但我们也观察到各种问题，特别是关于这些工具提供的输出的完整性。

研究LLM工具在科学研究中的应用，特别是在软件工程领域中的应用。

通过调查LLM工具在软件工程领域中的使用案例，评估当前工具的帮助程度，并发现LLM工具在科学研究中具有潜力，但也存在一些问题，尤其是输出的完整性问题。

研究发现LLM工具在软件工程领域中的应用具有潜力，但不同工具的结果存在显著差异。实验设计合理，使用了多个数据集，但没有开源代码。研究表明LLM工具在科学研究中的应用还处于起步阶段，需要进一步深入研究。

最近的相关研究主要集中在LLM工具在自然语言处理和计算机视觉领域的应用。其中一些研究包括《GPT-3：语言模型的新里程碑》、《ImageGPT：基于转换器的生成模型的图像生成》等。