Free to play: UN Trade and Development's experience with developing its own open-source Retrieval Augmented Generation Large Language Model application

自2022年11月ChatGPT发布其生成式预训练变换器（GPT）-3.5模型以来，生成式人工智能（AI），尤其是大型语言模型（LLM），因其通用性和自然语言交流的能力而广受欢迎和关注。由于这些模型的强大能力，它们可以在许多领域中发挥作用，包括官方统计和国际组织的工作。然而，对于这种新颖且看似复杂的技术，组织可能会觉得生成式AI是一种发生在组织内部的事情，可以谈论但无法理解，可以评论但无法为之贡献。此外，采用和运营专有解决方案的成本可能不确定且高昂，这是国际组织通常面临的成本限制的障碍。面对这些挑战，联合国贸发会议（UNCTAD）通过其全球危机应对小组（GCRG），探索和开发了自己的开源检索增强生成（RAG）LLM应用程序。RAG使LLMs意识到并更有用于组织的领域和工作。开发内部解决方案有利有弊，其中利益包括成本、灵活性和促进机构知识。缺点包括时间和技能投资、应用程序的差距和应用程序的优化和能力。用于生成应用程序的三个库：文档处理和统计分析的nlp_pipeline，运行本地RAG LLM的local_rag_llm，以及用户界面的streamlit_rag，均在PyPI和GitHub上公开发布，并提供Dockerfiles。第四个库local_llm_finetune也可用于微调现有的LLMs，然后可以在应用程序中使用。

使用开源技术解决机器学习模型的部署问题

使用Kubeflow进行机器学习模型的持续集成和部署

论文介绍了使用Kubeflow进行机器学习模型的持续集成和部署的解决方案，并提供了详细的实验设计和开源代码。该方案可以降低机器学习模型部署的难度和成本，并提高模型的可维护性和可扩展性。值得进一步研究的是如何在更复杂的部署场景下使用Kubeflow进行模型管理和监控。

相关研究包括使用Docker和Kubernetes进行机器学习模型部署的论文《Scalable and Portable Deep Learning on Kubernetes with TensorFlow and KubeFlow》和使用Kubeflow进行机器学习任务管理的论文《Kubeflow: A Cloud-Native Machine Learning Toolkit for Kubernetes》。