StyleChat: Learning Recitation-Augmented Memory in LLMs for Stylized Dialogue Generation

大型语言模型（LLMs）在生成场景中表现出卓越的性能，吸引了广泛的关注。其中，风格化对话生成在LLMs的背景下是构建智能和引人入胜的对话代理程序的关键。但是，LLMs的能力是数据驱动的，受到数据偏差的限制，导致特定任务的性能较差。特别是，风格化对话生成遭受着严重的监督数据缺乏的问题。此外，虽然已经提出了许多基于提示的方法来完成特定任务，但在涉及各种对话风格的复杂现实场景中，它们的性能还需要进一步提高。在这项工作中，我们首先通过全面利用LLMs的生成能力，引入了一个包含38种风格的风格化对话数据集StyleEval，该数据集经过了严格的人工质量控制。基于此，我们提出了风格化对话框架StyleChat，采用背诵增强记忆策略和多任务风格学习策略，促进了其泛化能力。为了评估我们方法的有效性，我们创建了一个测试基准，包括生成任务和选择任务，全面评估了训练模型，并评估了是否记住和理解了风格和偏好。实验结果表明，我们提出的框架StyleChat优于所有基线，并有助于打破LLMs的风格边界。

本论文旨在解决LLMs在特定任务上表现不佳的问题，尤其是在缺乏监督数据的情况下进行风格化对话生成的问题。

通过引入一个新的数据集StyleEval，以及采用基于回忆增强记忆策略和多任务风格学习策略的风格化对话框架StyleChat，来提高LLMs的泛化能力和打破风格边界。

本文提出了一个新的数据集StyleEval，其中包含38种风格的对话数据，并采用严格的人工质量控制。通过使用回忆增强记忆策略和多任务风格学习策略，提高了LLMs在风格化对话生成任务中的表现。实验结果表明，StyleChat优于所有基线模型。

最近的相关研究包括：1）基于Prompt的方法；2）多任务学习方法；3）记忆增强对话生成方法。