CFaiRLLM: Consumer Fairness Evaluation in Large-Language Model Recommender System

在推荐系统不断发展的背景下，大型语言模型（LLM）的整合，如ChatGPT，标志着引入了LLM推荐（RecLLM）的新时代。虽然这些进展承诺了前所未有的个性化和效率，但它们也凸显了关于公平性的关键问题，特别是关于推荐如何无意中延续或放大与敏感用户属性相关的偏见。为了解决这些问题，我们的研究引入了一个全面的评估框架CFaiRLLM，旨在评估（从而减轻）RecLLMs中消费者方面的偏见。 我们的研究通过检查推荐如何随着敏感属性（如性别、年龄及其交集）的包含而变化，通过相似性对齐和真实偏好对齐，系统地评估了RecLLMs的公平性。通过分析在不同条件下生成的推荐，包括在用户提示中使用敏感属性，我们的框架确定了推荐中潜在的偏见。我们研究的关键部分涉及探索不同详细的用户配置文件构建策略（随机、最高评级、最近）如何影响在没有考虑敏感属性和那些敏感属性感知的情况下进行的推荐之间的对齐，突显了RecLLMs中的偏见机制。 我们研究的发现突出了推荐公平性方面的显着差异，特别是当敏感属性被单独或组合地整合到推荐过程中时。分析表明，用户配置文件采样策略的选择在影响公平结果方面起着重要作用，突显了在LLMs时代实现公平推荐的复杂性。

本论文旨在解决在推荐系统中使用大型语言模型（LLMs）可能导致的偏见和公平性问题，提出了一个评估框架CFaiRLLM来评估和减轻RecLLMs中存在的消费者偏见。

论文通过分析在不同条件下生成的推荐（包括使用敏感属性的用户提示），评估RecLLMs的公平性，并探讨用户配置文件构建策略对公平性结果的影响。

本研究发现，当将敏感属性（如性别，年龄等）单独或组合地集成到推荐过程中时，推荐的公平性存在显著差异。同时，用户配置文件抽样策略的选择对公平性结果产生重要影响。该研究使用了CFaiRLLM评估框架，并使用了ChatGPT模型，提供了一个新的思路来解决推荐系统中存在的公平性问题。

与本论文相关的研究包括《Fairness in Recommendation Ranking through Pairwise Comparisons》、《Fairness-Aware Ranking in Search & Recommendation Systems with Application to LinkedIn Talent Search》等。