An Empirical Study on Usage and Perceptions of LLMs in a Software Engineering Project

本文介绍了大型语言模型（LLMs）在人工智能领域的重要性，尤其在使用人类语言的任务上表现出色。虽然通用型LLMs的主要焦点不是代码生成，但在这个领域中，它们表现出了很好的结果。然而，LLMs在学术软件工程项目中的实用性尚未得到充分探讨。本研究探讨了LLMs在由最多六名成员组成的团队中工作的214名学生中的实用性。值得注意的是，在进行这项研究的学术课程中，与大多数其他学术课程明确禁止使用LLMs不同，鼓励学生将LLMs集成到他们的开发工具链中。 本文分析了AI生成的代码、用于代码生成的提示以及将代码集成到代码库中的人类干预水平。我们还进行了感知研究，以从计算机科学学生的角度了解LLM的感知有用性、影响因素和未来前景。我们的研究结果表明，LLMs在软件开发的早期阶段，尤其是在生成基础代码结构和帮助语法和错误调试方面，可以发挥至关重要的作用。这些发现为我们提供了一个框架，以有效利用LLMs作为提高软件工程学生生产力的工具，并强调了将教育重心转向为成功的人工智能协作培养学生的必要性。

探索在软件工程教育中使用大型语言模型（LLMs）的可行性和有效性

LLMs可以在软件开发的早期阶段中发挥重要作用，特别是在生成基础代码结构方面，并帮助语法和错误调试。

实验探索了214名学生在团队中使用LLMs的情况，发现LLMs可以提高软件工程学生的生产力。论文还进行了感知研究，从计算机科学学生的角度获得了洞见。

最近的相关研究集中在LLMs在自然语言处理和语言生成领域的应用。