Knowledge Graph Tuning: Real-time Large Language Model Personalization based on Human Feedback

大型语言模型（LLMs）在各种自然语言处理任务中展现出了卓越的能力。一旦部署，LLMs会遇到具有个性化事实知识的用户，而这种个性化知识会通过用户与LLMs的交互得到持续反映。为了增强用户体验，实时模型个性化至关重要，使LLMs能够根据用户在人机交互过程中的反馈来适应用户特定的知识。现有方法大多需要反向传播来微调模型参数，这会带来高计算和内存成本。此外，这些方法存在低可解释性的问题，在长期使用中会对模型性能产生不可预见的影响，因为用户的个性化知识会被广泛积累。为了解决这些挑战，我们提出了知识图谱调整（KGT）的新方法，利用知识图谱（KGs）来个性化LLMs。KGT从用户的查询和反馈中提取个性化的事实知识三元组，并在不修改LLM参数的情况下优化KGs。我们的方法通过避免反向传播来提高计算和内存效率，并通过使KG调整可理解来确保可解释性。与包括GPT-2、Llama2和Llama3在内的最先进的LLMs进行的实验表明，KGT显著提高了个性化性能，同时降低了延迟和GPU内存成本。最终，KGT为在用户与LLMs的交互中实现有效、高效和可解释的实时LLM个性化提供了有前途的解决方案。

论文旨在解决实时个性化语言模型的问题，避免使用反向传播进行模型微调所带来的计算和内存开销，并提高可解释性。

论文提出了一种名为Knowledge Graph Tuning（KGT）的方法，通过优化知识图谱而非改变语言模型参数来提高模型的个性化能力。

论文的实验表明，KGT方法可以显著提高个性化性能，同时减少计算和内存开销。此外，该方法还具有可解释性，能够让人类理解知识图谱的调整。

近期的相关研究包括使用反向传播进行模型微调的方法，以及使用知识图谱进行语言模型个性化的方法。