Large Language Models for Software Engineering: Survey and Open Problems

本文提供了关于大型语言模型（LLMs）在软件工程（SE）领域中的新兴应用的综述，并提出了应用LLMs解决软件工程技术问题的开放性研究挑战。LLMs的新兴特性为软件工程活动的各个方面带来了创新性和创造性应用，包括编码、设计、需求、修复、重构、性能改进、文档和分析。然而，这些同样的新兴特性也带来了重大的技术挑战；我们需要可靠地筛选出不正确的解决方案，例如幻觉。我们的调查揭示了混合技术（传统SE加上LLMs）在开发和部署可靠、高效和有效的基于LLMs的SE中发挥的关键作用。

论文试图探讨Large Language Models (LLMs)在软件工程领域的应用，同时指出其所面临的技术挑战和未解决的问题。

论文提出了一种基于LLMs的混合技术，将传统的软件工程方法与LLMs相结合，以解决LLMs在软件工程中可能出现的错误解决方案的问题。

论文探讨了LLMs在软件工程中的应用，包括编码、设计、需求分析、维护、重构、性能优化、文档编写和分析等方面。同时，论文还指出了LLMs所面临的技术挑战，如错误解决方案的问题。论文提出了一种基于混合技术的解决方案，将传统的软件工程方法与LLMs相结合，以提高LLMs在软件工程中的可靠性和效率。论文还介绍了一些相关的工作和数据集。

最近在这个领域中，还有一些相关的研究，如《CodeBERT: A Pre-Trained Model for Programming and Natural Language Processing》、《Transformer-based Code Generation for Automatic Program Repair》、《Learning to Generate Pseudo-Code from Source Code Using Pointer-Generator Networks》等。