The Impact of AI Tool on Engineering at ANZ Bank An Empirical Study on GitHub Copilot within Corporate Environment

本文探讨了人工智能工具在软件工程实践中的应用，特别是大型语言模型（LLMs）在软件工程领域中的显著影响。研究重点关注澳新银行，该银行拥有5000多名工程师，涵盖了软件开发生命周期的各个方面。本文详细介绍了在受控环境下使用知名AI工具GitHub Copilot进行实验的过程，以评估其在真实工程任务中的有效性。此外，本文还分享了GitHub Copilot在大规模应用中带来的生产力改进的初步发现，大约有1000名工程师在使用它。澳新银行进行了为期六周的GitHub Copilot实验，其中包括两周的准备和四周的积极测试。该研究评估了参与者的情感和工具对生产力、代码质量和安全性的影响。最初，参与者使用GitHub Copilot进行拟议用例，并通过定期调查收集他们的反馈。在第二阶段，他们被分为控制组和Copilot组，每组都面对相同的Python挑战，并再次进行调查。结果显示，GitHub Copilot显著提高了生产力和代码质量，但其对代码安全性的影响仍不确定。参与者的反应总体上是积极的，证实了GitHub Copilot在大规模软件工程环境中的有效性。来自1000名工程师的早期数据还表明，其生产力和工作满意度显著提高。

评估GitHub Copilot在软件工程实践中的有效性和对生产力、代码质量和安全性的影响

使用GitHub Copilot对软件工程实践进行了实验，发现其可以提高生产力和代码质量，但对代码安全性的影响尚不确定

实验在ANZ银行进行，有1000个工程师参与，使用GitHub Copilot的工程师数量达到1000人规模，实验持续了6周，包括2周的准备和4周的使用，研究通过定期调查了解参与者的反馈，发现GitHub Copilot可以提高生产力和代码质量，但对代码安全性的影响不确定，参与者的反馈总体积极，初步数据显示工程师的生产力和工作满意度有显著提高

与此相关的研究包括：《Transformer-based Code Generation for Automatic Program Repair》、《CodeBERT: A Pre-Trained Model for Programming and Natural Language Processing》、《Deep API Learning》等