CHOPS: CHat with custOmer Profile Systems for Customer Service with LLMs

越来越多的企业和软件平台开始使用大型语言模型（LLMs），如GPT-3.5、GPT-4、GLM-3和LLaMa-2，作为文件访问的聊天助手或客户服务的推理代理。然而，目前基于LLM的客户服务模型与客户档案的整合有限，缺乏有效服务所必需的操作能力。此外，现有的API集成强调多样性，而不是真实世界客户服务场景中必要的精度和错误避免。为了解决这些问题，我们提出了一种名为CHOPS（在现有系统中与客户档案聊天）的LLM代理，旨在：（1）高效地利用现有数据库或系统来访问用户信息或按照现有指南与这些系统进行交互；（2）在避免有害操作的同时，提供准确和合理的响应或执行所需的操作；（3）利用小型和大型LLM的组合，以实现令人满意的性能和合理的推理成本。我们介绍了一个实用的数据集，CPHOS-dataset，其中包括从CPHOS收集的数据库、指导文件和QA对，CPHOS是一个在线平台，为高中教师和学生组织模拟物理奥林匹克竞赛。我们进行了广泛的实验，验证了我们提出的CHOPS架构在使用CPHOS-dataset时的性能，旨在展示LLMs如何增强或作为人类客户服务的替代品。我们的代码和数据集将很快开源。

论文旨在提出一个基于大型语言模型（LLMs）的客服代理CHOPS，解决现有LLM客服模型与客户档案的有限集成以及操作能力不足的问题。

CHOPS通过高效利用现有数据库或系统来访问用户信息或按照现有指导文件与这些系统进行交互，并在避免有害操作的同时提供准确合理的响应或执行所需操作，结合小型和大型LLMs以实现令人满意的性能。

论文提出了一个实用的数据集CPHOS-dataset，其中包括从CPHOS收集的数据库、指导文件和QA对，通过对CPHOS-dataset进行广泛的实验验证了CHOPS架构的性能，展示了LLMs如何增强或作为人类客服的替代方案。作者将开源其代码和数据集。

最近的相关研究包括使用LLMs进行客服的研究，如GPT-3.5、GPT-4、GLM-3和LLaMa-2，以及使用API集成进行客服的研究。