How much does AI impact development speed? An enterprise-based randomized controlled trial

人工智能辅助对开发人员的生产力有多大影响？迄今为止，软件工程文献提供了各种答案，涉及不同的结果：从感知生产力到任务速度和开发人员的工作效率。我们与96名全职谷歌软件工程师进行了一项随机对照试验，为这一文献贡献了关于三种人工智能功能对复杂企业级任务所需时间影响的估计。我们发现，人工智能显著缩短了开发人员完成任务的时间。在控制已知影响开发人员任务时间的因素后，我们对这种效应大小的最佳估计约为21%，尽管我们的置信区间较大。我们还发现了一个有趣的现象：每天花更多时间在代码相关活动上的开发人员使用人工智能时更快。讨论了产品和未来研究的考虑因素。特别是，我们呼吁进一步研究探索人工智能在生态系统层面以及多套人工智能增强工具中的影响，因为我们不能假设在实验室研究中获得的效应大小必然会在更广泛的范围内适用，或者在2024年夏季使用谷歌内部工具得出的人工智能效应会随着时间的推移和不同工具之间保持一致。

该论文试图评估AI辅助工具对软件开发人员生产力的影响，特别是针对复杂的企业级任务。这是一个持续关注的问题，但通过大规模随机对照试验提供具体量化影响的研究相对较少。

论文的关键思路是通过一个随机对照试验，控制其他可能影响开发时间的因素，来量化AI辅助工具对开发人员完成任务时间的具体影响。与现有研究相比，本研究不仅提供了具体的效应大小估计，还探讨了不同背景下的开发者如何受益于AI辅助。

论文的主要亮点包括：1) 通过96名全职Google软件工程师的随机对照试验，发现AI辅助工具使开发人员的任务完成时间平均缩短了约21%；2) 发现每天花更多时间在编码活动上的开发者在使用AI辅助时表现得更快；3) 实验设计严谨，考虑了多个影响因素；4) 论文强调了进一步研究的必要性，特别是在生态系统层面和跨多个AI增强工具的效果。

近期相关研究包括：1) 'The Impact of AI-Powered Code Completion on Developer Productivity' - 探讨了代码补全工具对开发效率的影响；2) 'Evaluating the Effectiveness of AI in Software Testing' - 研究了AI在软件测试中的应用效果；3) 'A Systematic Review of AI in Software Engineering' - 对AI在软件工程中的应用进行了系统回顾。