Beyond Code Generation: An Observational Study of ChatGPT Usage in Software Engineering Practice

大型语言模型（LLMs）被学术界和普通公众广泛讨论，作为支持任何依赖于文本生成的用例的工具，包括软件工程。目前，关于像ChatGPT这样基于LLM的工具在工业界的实际用途，存在很多争议，但很少有实证证据。我们对24名专业软件工程师进行了观察性研究，他们在工作中使用ChatGPT一周，并对他们与聊天机器人的对话以及整体体验进行了定性分析（通过退出调查捕捉）。我们发现，实践者更多地使用ChatGPT来获得解决任务的指导或更抽象地了解某个主题，而不是期望ChatGPT生成可直接使用的软件工件（例如代码）。我们还提出了一个理论框架，阐述了互动的目的、内部因素（例如用户的个性）和外部因素（例如公司政策）如何共同塑造体验（以感知有用性和信任度为标准）。我们预计，我们的框架可以被未来的研究用于进一步讨论软件工程实践者使用LLM的学术问题，并作为未来此领域经验性LLM研究设计的参考点。

研究ChatGPT在软件工程领域的实际应用价值和用户体验。

ChatGPT被软件工程师更多地用于获取解决任务的指导和学习抽象概念，而非生成可用的软件工件。提出了一个理论框架，探讨互动目的、内部因素和外部因素如何共同影响用户体验。

通过对24名专业软件工程师的使用体验进行观察和分析，发现ChatGPT更多地被用于获取任务解决方案的指导和学习抽象概念。提出了一个理论框架，探讨互动目的、内部因素和外部因素如何共同影响用户体验。

最近的相关研究包括《Large-Scale Language Model for Code Generation》、《CodeBERT: A Pre-Trained Model for Programming and Natural Language Processing》等。