Ansible Lightspeed: A Code Generation Service for IT Automation

随着能够生成代码的大型语言模型（LLMs）的出现，创建提高开发人员生产力的工具成为可能。开发人员用于编写软件的集成开发环境（IDE）通常用作与LLMs交互的界面。尽管已经发布了许多这样的工具，但几乎所有工具都集中在通用编程语言上。对于IT自动化至关重要的特定领域语言，比如基于YAML的Ansible，尚未得到充分关注。Red Hat Ansible Lightspeed与IBM Watson Code Assistant是一种基于LLM的服务，专门用于自然语言生成Ansible代码。本文描述了Ansible Lightspeed服务的设计和实现，并分析了数千个真实用户的反馈。我们根据即时和扩展利用模式以及用户情感对各种性能指标进行分类。分析表明，与更通用且不针对编程语言的可比工具相比，Ansible Lightspeed建议的用户接受率更高。即使我们使用更严格的标准来考虑什么是被接受的模型建议，并且丢弃被接受后经过大量编辑的建议，这一结论仍然成立。相对较高的接受率导致了高于预期的用户保留率和普遍积极的用户反馈。本文提供了关于专业模型在特定领域语言上的表现以及更重要的是用户如何接受的见解。

本论文旨在解决IT自动化特定领域语言（DSL）的代码生成问题，通过使用大型语言模型（LLMs）和自然语言生成Ansible代码来提高开发人员的生产力。

本论文提出了一种基于LLMs的服务Ansible Lightspeed，专门用于自然语言到Ansible代码的生成。该服务在DSL领域表现出较高的用户接受度和用户留存率。

论文分析了来自数千个真实用户的反馈，并根据即时和扩展利用模式对各种绩效指标进行了分类。分析结果表明，相比于更普遍且不特定于编程语言的工具，Ansible Lightspeed的用户接受率更高。此外，论文还提供了关于如何在特定领域语言上使用相对较小但专用的模型以及如何被用户接受的见解。

最近的相关研究包括使用LLMs生成通用编程语言代码的工具，如OpenAI Codex和GitHub Copilot。