How Reliable is Your Simulator? Analysis on the Limitations of Current LLM-based User Simulators for Conversational Recommendation

这篇文章讨论了会话推荐系统（CRS）如何通过自然语言与用户交互，了解他们的偏好并提供实时个性化推荐。CRS展现出了巨大的潜力，促使研究人员将更多的关注点放在开发更真实可靠的用户模拟器上。最近，大型语言模型（LLMs）的能力在各个领域引起了广泛关注，同时也在构建基于LLMs的用户模拟器方面进行了努力。虽然这些工作展示了创新，但也存在一些需要注意的限制。本文旨在分析使用LLMs构建CRS用户模拟器的限制，以指导未来的研究。为了实现这一目标，我们对著名的iEvaLM进行了分析验证。通过在会话推荐领域中广泛使用的两个数据集上进行多次实验，我们强调了当前基于LLMs的用户模拟器评估方法存在的几个问题：（1）数据泄漏，即在会话历史和用户模拟器的回复中发生，导致评估结果被夸大。（2）CRS推荐的成功更多地取决于会话历史的可用性和质量，而不是用户模拟器的回复。（3）通过单个提示模板控制用户模拟器的输出是具有挑战性的。为了克服这些限制，我们提出了SimpleUserSim，采用简单直接的策略来引导话题朝向目标物品。我们的研究验证了CRS模型利用交互信息的能力，显著提高了推荐结果。

分析使用大语言模型构建用户模拟器在对话推荐系统中的局限性

提出了一种简单的用户模拟器SimpleUserSim，通过引导话题向目标物品推荐，解决了大语言模型构建用户模拟器的数据泄漏、对话历史质量和用户模拟器输出控制等局限性

论文通过实验验证了当前评估大语言模型构建用户模拟器的方法存在的问题，提出了一种新的解决方案，实验数据集包括两个在对话推荐领域中广泛使用的数据集，可以为后续研究提供参考

最近的相关研究包括iEvaLM等使用大语言模型构建用户模拟器的工作，以及对话推荐领域中的其他相关研究，如基于深度学习的对话推荐模型等