From Clicks to Preference: A Multi-stage Alignment Framework for Generative Query Suggestion in Conversational System

使用大语言模型进行生成式查询建议为增强对话系统提供了一种强有力的方式，但如何使生成结果与用户细微的偏好保持一致，仍是关键挑战。为了解决这一问题，我们提出了一种多阶段框架，旨在逐步实现生成策略与用户意图之间的对齐。 我们的流程始于提示工程作为冷启动策略，随后进入监督微调阶段，在此阶段我们引入了一种基于点击日志的蒸馏方法，以构建一个稳健的基础模型。为了更好地建模用户偏好，同时捕捉偏好的内在不确定性，我们开发了一种高斯奖励模型（Gaussian Reward Model，GaRM），该模型将用户偏好表示为概率分布而非点估计。最后，我们采用强化学习方法，将生成策略与这些偏好对齐，并通过一个综合奖励函数进行引导。该函数整合了GaRM与辅助启发式方法，以防止奖励函数被滥用。 为了保持训练稳定性，我们还提出了一种新的分布外正则化方法以及两阶段奖励融合技术来进一步增强训练过程。大量实验表明，我们的框架在自动评估和人工评估中均显著优于基线模型，并在实际A/B测试中通过点击率衡量，实现了用户参与度34%的相对提升。

论文试图解决生成式对话系统中如何更好地对齐用户偏好这一关键问题。现有的生成模型往往难以准确捕捉用户的复杂意图，尤其是在用户偏好具有不确定性的情况下。这是一个在对话系统和推荐系统中长期存在的挑战，但通过结合强化学习和概率建模进行渐进式对齐的研究尚属较新方向。

论文提出了一种多阶段对齐框架，从冷启动的提示工程开始，逐步推进到监督微调、概率奖励建模与强化学习优化。其核心创新在于引入了高斯奖励模型（GaRM），将用户偏好建模为概率分布而非单一数值，从而更准确地反映用户偏好的不确定性，并通过强化学习与复合奖励函数进行策略优化。

1. 提出了多阶段训练流程，包括提示工程冷启动、基于点击日志的蒸馏式监督微调、以及基于GaRM的强化学习。 2. GaRM模型将用户反馈建模为分布，提高了对用户偏好的建模能力。 3. 强化学习阶段引入了复合奖励函数（结合GaRM与辅助启发式）和分布外正则化方法，提升了训练稳定性并防止reward hacking。 4. 实验验证了框架在自动评估和人工评估中的优越性，并在真实场景中实现了34%的点击率提升。 5. 论文未明确提及是否开源代码或数据集，但点击日志的使用表明其适用于工业级对话系统场景。

1. Deep Reinforcement Learning for Dialogue Generation (Li et al., 2016) 2. A Survey on Dialogue Systems: Recent Advances and New Frontiers (Li et al., 2020) 3. Reward Learning from Narrative Human Feedback for Dialogue Generation (Peng et al., 2022) 4. Aligning Language Models to User Preferences with Human Feedback (Ouyang et al., 2022) 5. Uncertainty-aware Reward Modeling for Dialogue Policy Optimization (Zhang et al., 2023)