ConvoCache: Smart Re-Use of Chatbot Responses

我们介绍了ConvoCache，这是一个对话缓存系统，可以解决口语聊天机器人中慢且昂贵的生成AI模型问题。ConvoCache会在过去找到一个语义上相似的提示，并重复使用响应。在本文中，我们评估了ConvoCache在DailyDialog数据集上的表现。我们发现，ConvoCache可以将UniEval一致性阈值设置为90％，并使用平均延迟为214ms的缓存回答89％的提示，取代需要超过1秒的LLM和语音合成。为了进一步减少延迟，我们测试了预取功能，并发现其有限的用处。使用80％的请求进行预取可导致63％的命中率，但整体一致性下降。ConvoCache可与任何聊天机器人一起使用，通过将对生成AI的使用减少高达89％来降低成本。

ConvoCache解决了口语聊天机器人中慢且昂贵的生成式AI模型的问题，通过在过去的对话中找到语义相似的提示并重复使用响应。

ConvoCache通过在已有对话中寻找相似的提示并重复使用响应，来减少使用生成式AI的次数，从而降低成本和延迟。

论文在DailyDialog数据集上评估了ConvoCache，发现它可以使用UniEval一致性阈值90％并使用缓存回答89％的提示，平均延迟为214ms，取代需要超过1秒的LLM和语音合成。论文还测试了预取功能，发现其有限的实用性。ConvoCache可以与任何聊天机器人一起使用，通过减少生成式AI的使用次数来降低成本高达89％。

在这个领域中，还有其他相关的研究，如DialogRPT和DialoGPT。