Optimization Methods for Personalizing Large Language Models through Retrieval Augmentation

本文研究了用检索增强的方法个性化大语言模型（LLMs），这种方法有望对各种应用和领域产生重大影响。我们提出了第一次尝试优化检索模型，该模型向大语言模型提供有限数量的个人文档，以进行个性化生成。我们开发了两种优化算法，从下游个性化生成任务中征求反馈以进行检索优化——一种基于强化学习，其奖励函数使用任何用于个性化生成的任意度量标准进行定义，另一种则基于从下游LLM到检索模型的知识蒸馏。本文还介绍了一种用于在每个LLM输入中决定选择哪个检索器的预生成器和后生成器选择模型。对来自语言模型个性化（LaMP）基准测试的不同任务进行的广泛实验表明，在七个数据集中有六个数据集的结果具有统计学意义的改进。

本文旨在研究用于个性化大语言模型（LLMs）的检索增强方法，以提高各种应用和领域的效果。作者提出了第一次尝试优化检索模型，以向大语言模型提供有限数量的个人文档，以实现个性化生成。

本文提出了两种优化算法，用于检索优化，分别基于强化学习和知识蒸馏。此外，本文还介绍了一个预处理和后处理的检索选择模型，用于决定每个LLM输入要选择哪个检索器。

本文在语言模型个性化（LaMP）基准测试的多个任务上进行了广泛的实验，其中六个数据集中都有显著的改进。本文还提供了开源代码。

最近的研究包括“Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer”和“Plug and Play Language Models: A Simple Approach to Controlled Text Generation”。