Transforming Software Development: Evaluating the Efficiency and Challenges of GitHub Copilot in Real-World Projects

生成式人工智能技术承诺改变产品开发生命周期。本研究评估了使用AI编程助手GitHub Copilot的效率提升、改进领域和新兴挑战。我们确定了15项软件开发任务，并通过大型专有代码库上的真实项目评估了Copilot的好处。我们的发现表明，在代码文档和自动完成方面，开发人员的工作量显著减少，节省了高达50%的时间，在重复编码任务、单元测试生成、调试和配对编程方面节省了30-40%的时间。然而，Copilot在处理复杂任务、大型函数、多个文件和专有环境（特别是C/C++代码）方面存在困难。我们预计，在以云为先的软件开发生命周期中，编码相关任务的时间将减少33-36%。本研究旨在量化生产力提升，确定表现不佳的场景，研究实际好处和挑战，调查编程语言间的性能变化，并讨论与代码质量、安全性和开发者体验相关的新兴问题。

评估GitHub Copilot在软件开发中的效率提升、改进领域和挑战

使用GitHub Copilot作为AI编码助手可以显著减少开发人员的工作量，但在处理复杂任务、大型函数、多个文件和专有上下文等方面存在挑战。

使用真实项目在大型专有代码库上评估了Copilot的效益，发现可以在代码文档和自动完成中节省高达50%的时间，在重复编码任务、单元测试生成、调试和配对编程中节省30-40%的时间。但是，Copilot在处理复杂任务、大型函数、多个文件和专有上下文方面存在挑战。预计在云为先的软件开发生命周期中，编码相关任务可以减少33-36%的时间。

与此相关的研究包括：《机器学习在软件工程中的应用》、《基于机器学习的代码自动补全技术》等。