Personalized LLM Response Generation with Parameterized Memory Injection

大型语言模型（LLMs）表现出了在理解和生成自然语言方面的非凡能力。另一方面，个性化的LLM响应生成有潜力在关键领域（如医疗）为个人提供实质性的好处。现有的研究已经探索了使用记忆增强方法，用预存储的用户特定知识来促使LLM生成针对新查询的个性化响应生成。我们认为，这种范式无法感知细粒度信息。在本研究中，我们提出了一种新颖的“内存注入”方法，使用参数高效的微调（PEFT）以及贝叶斯优化搜索策略，以实现LLM个性化（MiLP）。

本文旨在提出一种新的方法，即Memory-injected approach using parameter-efficient fine-tuning (PEFT)和Bayesian Optimisation searching strategy，以实现个性化的LLM回复生成，以解决现有方法无法感知细粒度信息的问题。

本文提出了一种新的个性化LLM回复生成方法MiLP，该方法使用PEFT和Bayesian Optimisation searching strategy，将用户特定的信息注入到模型中，以实现更准确的个性化回复。

本文的实验结果表明，MiLP方法相比现有方法具有更好的个性化效果。本文使用的数据集是PubMedQA和WebMDQA。本文提出的方法可以用于医学等领域，有望为用户提供更好的服务。本文的方法可以进一步改进，例如可以使用更大的数据集进行训练。

最近的相关研究包括使用memory-augmented方法进行个性化回复生成，例如Mem2Seq和MemTransformer等。