Developing a Llama-Based Chatbot for CI/CD Question Answering: A Case Study at Ericsson

本文介绍了我们在爱立信（一家跨国电信公司）开发基于Llama的聊天机器人，用于回答关于持续集成和持续交付（CI/CD）的问题的经验。我们的聊天机器人旨在处理爱立信CI/CD文档的特定性，采用检索增强生成（RAG）模型来提高准确性和相关性。我们在工业CI/CD相关问题上对聊天机器人进行了实证评估，结果表明，结合BM25和嵌入式检索器的集合检索器效果最好。在72个CI/CD问题和答案的真实数据集上进行评估时，我们最准确的聊天机器人配置为61.11%的问题提供了完全正确的答案，26.39%的问题提供了部分正确的答案，12.50%的问题提供了错误的答案。通过对部分正确和错误答案的误差分析，我们讨论了不准确性的根本原因，并提供了进一步改进的见解。我们还反思了所学到的经验，并提出了未来进一步提高聊天机器人准确性的方向。

本论文旨在开发一个基于Llama的聊天机器人，用于回答关于连续集成和交付（CI/CD）的问题。研究团队试图解决在Ericsson这样的大型公司中，处理CI/CD文档的特殊性所带来的问题。

论文采用了检索增强生成（RAG）模型来提高准确性和相关性。通过使用BM25和嵌入式检索器的集成检索器，研究团队获得了最佳性能。

通过实验评估，论文的最佳聊天机器人配置在72个CI/CD问题和答案的基础上，对61.11%的问题提供了完全正确的答案，对26.39%的问题提供了部分正确的答案，对12.50%的问题提供了错误的答案。通过对部分正确和错误答案的错误分析，研究团队讨论了不准确性的潜在原因，并提供了进一步改进的见解。

最近在这个领域中，也有其他相关研究，如“基于BERT的CI/CD问答系统”和“使用半监督学习的CI/CD问答系统”。