Vortex under Ripplet: An Empirical Study of RAG-enabled Applications

大型语言模型（LLMs）通过检索增强生成（RAG）提供了在各种应用场景下有效的解决方案。然而，由于缺乏接口规范、软件环境需求和复杂的系统管理，开发人员在将RAG增强的LLMs集成到软件系统中面临挑战。本文手动研究了100个包含RAG增强的LLMs的开源应用程序及其问题报告。我们发现超过98％的应用程序包含多个集成缺陷，这些缺陷会损害软件的功能、效率和安全性。我们还归纳了19种缺陷模式并提出了解决方案的指导方针。我们希望这项工作能够帮助LLM软件开发，并激励未来的研究。

本论文试图解决RAG-enhanced LLMs在软件系统中集成时面临的挑战，包括缺乏接口规范、来自软件上下文的要求以及复杂的系统管理。作者通过手动研究100个包含RAG-enhanced LLMs的开源应用程序和它们的问题报告，发现超过98％的应用程序包含多个集成缺陷，这些缺陷影响了软件的功能性、效率和安全性。作者提出了19个缺陷模式和解决它们的指南。

本论文提出了解决RAG-enhanced LLMs在软件系统中集成时面临的挑战的指南，以帮助LLM-enabled软件开发，并激励未来的研究。

本论文手动研究了100个开源应用程序，总结了19个缺陷模式，并提出了解决这些缺陷的指南。这些指南有助于提高LLM-enabled软件的功能性、效率和安全性。作者还提供了实验细节和数据集信息，可以帮助其他研究人员进行进一步的研究。

最近的相关研究包括使用RAG-enhanced LLMs解决不同应用程序中的问题，例如问答系统、文本生成和对话系统。其中一些研究包括“Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks”和“Dense Passage Retrieval for Open-Domain Question Answering”。