Federated Recommendation via Hybrid Retrieval Augmented Generation

“联邦推荐”（FR）是一种新兴的范式，可以实现隐私保护的推荐。然而，传统的FR系统通常使用离散的身份标识符（ID）来表示用户/物品，由于FR中的数据稀疏性和异质性而遭受性能下降的困扰。另一方面，基于大型语言模型（LLMs）的推荐已经在各种推荐场景中证明了有效性。然而，基于LLM的推荐遇到了低推理效率和潜在的幻觉等挑战，影响了它们在实际场景中的性能。为此，我们提出了GPT-FedRec，这是一个联邦推荐框架，利用了ChatGPT和一种新颖的混合检索增强生成（RAG）机制。GPT-FedRec是一个两阶段的解决方案。第一阶段是一个混合检索过程，挖掘基于ID的用户模式和基于文本的物品特征。接下来，检索到的结果被转换成文本提示，并输入到GPT中进行重新排序。我们提出的混合检索机制和基于LLM的重新排序旨在从数据中提取广义特征，并利用LLM中的预训练知识，克服FR中的数据稀疏性和异质性。此外，RAG方法还可以防止LLM幻觉，提高实际用户的推荐性能。在各种基准数据集上的实验结果表明，GPT-FedRec相对于现有基线方法具有更优的性能。

本文提出GPT-FedRec，一个基于ChatGPT和Retrieval Augmented Generation(RAG)机制的联邦推荐框架，旨在解决传统联邦推荐系统中的数据稀疏和异质性问题，以及大型语言模型推荐器中的推理效率和幻觉问题。

GPT-FedRec是一个两阶段的解决方案，第一阶段是混合检索过程，挖掘基于ID的用户模式和基于文本的项目特征，第二阶段是使用GPT对检索结果进行重新排序。GPT-FedRec的混合检索机制和基于LLM的重新排序旨在从数据中提取广义特征并利用LLM中的预训练知识，克服联邦推荐中的数据稀疏和异质性。此外，RAG方法还可以防止LLM幻觉，提高实际用户的推荐性能。

本文的亮点包括：提出了一个新的联邦推荐框架GPT-FedRec，解决了传统联邦推荐系统中的数据稀疏和异质性问题，以及大型语言模型推荐器中的推理效率和幻觉问题；采用了混合检索机制和基于LLM的重新排序，从数据中提取广义特征并利用LLM中的预训练知识，提高了推荐性能；在多个基准数据集上进行了实验，证明了GPT-FedRec相对于现有的基准方法具有更好的性能。

相关研究包括：联邦推荐系统、大型语言模型推荐器、基于检索的推荐方法等。