Efficient and Green Large Language Models for Software Engineering: Vision and the Road Ahead

近期，大型语言模型（LLMs）在各种软件工程任务中展现出了卓越的能力，推动了大型语言模型用于软件工程（LLM4SE）领域的快速发展。然而，关注度较少的是如何打造高效的LLM4SE解决方案，这些解决方案需要最小的时间和内存资源，以及绿色的LLM4SE解决方案，以减少能源消耗和碳排放。本文旨在将研究社区的重点转向LLM4SE的效率和绿色性，同时分享实现这一目标的潜在研究方向。首先，简要介绍了LLM4SE的重要性，并强调了需要高效和绿色的LLM4SE解决方案。随后，本文提出了一个愿景，展望未来高效和绿色的LLM4SE将革新软件工程工具领域，惠及各方利益相关者，包括产业、个人从业者和社会。接着，本文勾画了未来研究的路线图，概述了研究社区追求的具体研究路径和潜在解决方案。虽然本文不旨在成为一份权威指南，但旨在激发进一步的进展，最终建立高效和绿色的LLM4SE作为未来软件工程的核心要素。

本论文旨在引导研究人员将重点放在高效和环保的LLM4SE解决方案上，以减少时间、内存和能源消耗，同时分享实现这一目标的潜在研究方向。

本文提出了一种未来愿景，即高效和环保的LLM4SE将彻底改变软件工程工具的格局，使各方受益，包括工业、个人从业者和社会。同时，本文提出了一个未来研究的路线图，概述了研究社区可以追求的具体研究路径和潜在解决方案。

本文强调了高效和环保LLM4SE的重要性，并提供了未来研究的路线图，包括对模型结构和训练技术的改进、对推理和生成技术的优化、对数据管道和预处理技术的改进、对模型压缩和量化技术的研究、以及对基础设施和部署技术的改进。此外，本文还强调了开源代码和数据集的重要性，以及对研究结果的可重复性和可比性的关注。

最近在LLM4SE领域中，还有一些相关的研究，如《Towards Green and Sustainable Natural Language Processing》、《Efficient Large-Scale Language Model Training on GPU Clusters with Long-Range Dependencies》、《TinyBERT: Distilling BERT for Natural Language Understanding》等。