Few-shot Personalization of LLMs with Mis-aligned Responses

随着用户多样性的增加，大型语言模型（LLMs）提供个性化响应的能力变得越来越重要。现有方法在LLM个性化方面仅取得有限的成功，原因在于缺乏个性化学习或依赖共享个人数据。本文提出了一种新的方法，用于通过其不匹配的响应（Fermi）对LLMs进行少量样本的个性化。我们的关键思想是通过逐步使用LLMs改进提示来为每个用户学习一组个性化提示，这些提示基于用户个人资料（例如，人口统计信息）和少量先前意见的示例。在提示改进的迭代过程中，我们将LLMs的不匹配响应的上下文融合进来，这对于有效的LLMs个性化尤其关键。此外，我们开发了一种有效的推理方法，以进一步利用测试查询和个性化提示的上下文。我们的实验结果表明，与最佳基准线相比，Fermi显着提高了各种基准的性能。

解决问题的问题是如何实现大型语言模型的个性化回复，而现有方法在个性化学习或依赖共享个人数据方面存在限制。

通过逐步改进学习到的个性化提示，实现对大型语言模型的个性化学习，同时结合模型的错误回复，提高模型的个性化能力。

论文提出的Fermi方法在多个基准测试中均表现出色，相比最佳基线方法有显著提高。实验数据集和代码都已开源。

最近的相关研究包括使用元学习和不同的数据增强方法来进行大型语言模型的个性化学习，例如《Meta-Learning for Few-Shot Natural Language Processing》和《Data Augmentation for Personalizing Dialogue Response Generation》。