UserRL: Training Interactive User-Centric Agent via Reinforcement Learning

强化学习（RL）在训练超越静态基准、能够进行动态多轮交互的智能体模型方面已展现出巨大潜力。然而，这类智能体的最终价值在于其辅助用户的能力，而用户交互的多样性和动态性为此类应用带来了挑战。在本研究中，我们提出了UserRL——一个通过标准化的gym环境结合模拟用户来训练和评估以用户为中心能力的统一框架。我们系统地调整回合级别的奖励分配方式和轨迹级别的评分计算方法，以分析不同设定在GRPO算法下对学习效果的影响。我们在Qwen3系列模型上的实验揭示了三个关键发现：（i）监督微调（SFT）冷启动对于激活初始交互能力并实现持续的强化学习提升至关重要；（ii）精心设计的轨迹评分机制能够带来更高效且更有效的多轮交互表现；（iii）尽管更强的模拟用户（如GPT-4o）有助于训练，但开源模拟器（如Qwen3-32B）仍是一种成本低廉且具有良好迁移性的可行选择。综上所述，这些结果表明，奖励机制的设计与模拟用户的选择，与模型规模同样重要，并确立了UserRL作为开发鲁棒的以用户为中心的智能体模型的一条实用路径。所有代码和数据均已公开，供后续研究使用。

论文试图解决如何有效训练和评估以用户为中心的智能体模型的问题，尤其是在动态、多轮交互场景下。传统静态基准无法充分反映模型在真实用户交互中的表现，而用户行为的多样性和动态性给强化学习带来了挑战。这个问题随着大模型向代理化发展变得日益重要，但尚未有标准化框架来系统研究用户中心化能力，因此具有较强的新颖性和现实需求。

提出UserRL，一个统一的框架，通过标准化的gym环境结合模拟用户来进行用户中心化能力的训练与评估。关键创新在于系统地设计回合级奖励分配与轨迹级评分机制，并在GRPO算法下分析不同奖励结构对多轮交互学习的影响。此外，强调SFT冷启动的重要性以及模拟用户质量对训练效果的影响，为用户导向的RLHF提供了可复现的设计原则。

实验在Qwen3系列模型上进行，验证了三个核心发现：SFT冷启动对RL训练至关重要；精心设计的轨迹评分能提升交互效率；强模拟用户（如GPT-4o）虽更优，但开源模型（如Qwen3-32B）也可作为经济且可迁移的替代方案。实验设计系统性强，涵盖多种奖励配置与模拟用户组合。所有代码和数据均已开源，极大促进后续研究。未来方向包括更真实的用户模拟、跨任务泛化及在线用户反馈集成。

1. 'Self-Instruct: Aligning Language Models with Self-Generated Instructions', 2022 2. 'Reinforcement Learning from Human Feedback (RLHF): A Survey', 2023 3. 'AgentAI: A Framework for Evaluating Embodied Agents in Dynamic Environments', 2024 4. 'Language Model Cascades for Task-Oriented Dialogue Systems', 2023 5. 'Simulated User Modeling for Conversational AI Evaluation', 2024