Lessons from Building StackSpot AI: A Contextualized AI Coding Assistant

凭借其出色的自然语言处理能力，基于大型语言模型（LLMs）的工具，如ChatGPT和Co-Pilot，已经迅速成为软件开发人员工具包中不可或缺的资源。虽然最近的研究表明这些工具可以带来潜在的生产力提升，但用户仍然会遇到一些缺点，例如通用或不正确的答案。此外，追求更好的响应往往会导致大量的提示工程努力，从而分散了撰写实际价值代码的宝贵时间。为了解决这些挑战，正在出现一种新型的工具，它们建立在LLMs之上，旨在通过采用微调或使用上下文信息丰富用户提示等技术来减轻缺点。 在本文中，我们深入探讨了一个软件开发团队在使用基于检索技术的CodeBuddy创建这种上下文化LLM应用程序时所学到的经验教训。在为期四个月的时间里，尽管缺乏先前的LLM应用程序专业经验，该团队从零开始构建了该产品。在最初发布产品后，我们与负责代码生成组件的开发团队进行了交流。通过访谈和分析应用程序的问题跟踪器，我们发现了各种各样有趣的挑战，这些挑战可能会遇到开发LLM应用程序的团队。例如，我们发现了三个主要的教训组：基于LLM的教训、基于用户的教训和技术教训。通过了解这些教训，软件开发团队可以更好地准备构建基于LLM的应用程序。

论文旨在解决使用LLM-based工具时遇到的问题，如通用或不正确的答案，以及为改进响应而进行的大量提示工程所导致的时间浪费。

论文介绍了一种基于检索的LLM工具——CodeBuddy，旨在通过上下文信息的丰富和微调等技术来缓解LLM工具的缺点，从而提高开发效率。

论文的亮点包括：介绍了一种基于检索的LLM工具CodeBuddy，通过使用上下文信息的丰富和微调等技术来提高开发效率；通过对开发团队的采访和应用程序问题跟踪器的分析，揭示了团队在构建LLM应用程序时遇到的各种有趣的挑战；

在这个领域中的其他相关研究包括：ChatGPT和Co-Pilot等基于LLM的工具；使用微调技术的LLM工具，如GPT-3；以及使用上下文信息来改进LLM工具的研究，如CodeXGLUE。