THEANINE: Revisiting Memory Management in Long-term Conversations with Timeline-augmented Response Generation

本文探讨了在大型语言模型(LLMs)时代中如何增加记忆以改进对话系统的回复生成。虽然先前的工作主要集中在去除过时的记忆，但我们认为这些记忆可以提供上下文线索，帮助对话系统理解过去事件的发展，并从中受益以生成更好的回复。我们提出了Theanine框架，该框架通过记忆时间轴来增强LLMs的回复生成，这些时间轴是展示相关过去事件发展和因果关系的记忆序列。除了Theanine，我们还介绍了TeaFarm，这是一个针对长期对话中G-Eval限制的反事实驱动问答流水线。我们提供了我们方法的补充视频和用于评估TeaFarm的TeaBag数据集，网址为https://theanine-693b0.web.app/。

本论文试图探索如何在大型语言模型中加入记忆增强的机制，以提高对历史事件的理解和回应生成能力。

论文提出了Theanine框架，通过记忆时间线来增强大型语言模型的回应生成能力。该框架利用过去事件的上下文信息，提高模型对历史事件的理解和回应生成准确性。

论文介绍了TeaFarm，一个针对长期对话的反事实驱动问答管道，通过对话历史的分析来解决G-Eval评估指标的局限性。论文还提供了TeaBag数据集和相关视频，方便其他研究者进行实验和复现。

最近的相关研究包括《Improving Multi-turn Dialogue Modelling with Utterance ReWriter》和《Modeling the Evolution of Discourse Entities in Multi-Party Spoken Dialogues》等。