Enhancing Personalized Multi-Turn Dialogue with Curiosity Reward

一个有效的对话代理必须能够根据用户的偏好、个性和属性来调整其行为，无论是在协助写作任务，还是在教育或医疗等领域的应用中。当前的训练方法，例如基于人类反馈的强化学习（RLHF），虽然优先考虑了有用性和安全性，但在促进真正富有同理心、适应性强且个性化的互动方面仍有不足。传统的个性化方法通常依赖于大量的用户历史数据，这限制了它们在新用户或上下文有限的情况下的有效性。为了解决这些局限性，我们提出将一种内在动机融入多轮 RLHF 的奖励机制中，以改进对话代理对用户的建模能力。这种奖励机制促使代理通过优化对话主动获取用户的特征，从而提高其用户模型的准确性。因此，通过获得更多关于用户的信息，策略代理可以提供更加个性化的交互体验。我们将这种方法应用于教育和健身场景中，在这些场景中，大语言模型（LLM）可以根据用户隐藏的学习风格或生活方式属性来教授概念或推荐个性化策略。通过使用 LLM 模拟的用户，我们的方法在揭示用户偏好并适应这些偏好的能力上，优于多轮 RLHF 的基准模型。

该论文试图解决当前对话系统在个性化交互方面的不足，特别是在新用户或上下文有限的情况下，如何通过优化对话策略来更好地理解用户偏好、个性和属性。这是一个重要但尚未完全解决的问题，尤其是在需要高度个性化服务的领域（如教育和健康）。

论文提出了一种新的奖励机制，将改进用户模型作为内在动机，与多轮RLHF结合使用。这种方法鼓励对话代理主动获取用户的隐藏特征（如学习风格或生活方式），从而实现更精准的个性化交互。相比传统方法依赖用户历史数据，这一思路更加动态和适应性强。

1. 提出了通过优化对话策略来提升对用户模型的理解；2. 在教育和健身场景中验证了方法的有效性；3. 使用LLM模拟用户进行实验，证明了新方法比多轮RLHF基线更能揭示用户偏好；4. 尽管未提及代码开源，但其方法论值得进一步研究，例如扩展到其他领域或引入更多样化的用户模拟器。

相关研究包括：1. 「Reinforcement Learning from Human Feedback」，探讨了如何利用人类反馈训练更安全和有用的模型；2. 「Personalized Dialogue Systems」，专注于基于用户历史数据的个性化方法；3. 「Intrinsic Motivation in RL for Conversational Agents」，探索内在动机在对话代理中的应用；4. 「Adaptive Tutoring Systems」，研究教育领域中的自适应教学方法。