Adaptive Decoding via Latent Preference Optimization

在语言模型解码过程中，已知使用较高的温度采样可以生成更具创意的响应，而较低的温度则更注重事实准确性。然而，这些模型通常被应用于通用指令跟随任务，这既包括创意任务也包括信息查找任务，并且在所有示例和标记上使用单一固定的温度。在这项工作中，我们引入了自适应解码技术，在推理时动态选择采样温度，可以在标记级别或示例级别进行，以优化性能。为了学习其参数，我们引入了一种称为潜在偏好优化（LPO）的方法，这是一种训练离散潜在变量（如温度选择）的一般方法。我们的方法在需要不同温度的各种任务中均优于所有固定解码温度，包括UltraFeedback、创意故事写作和GSM8K。

该论文旨在解决在语言模型解码过程中，如何根据任务需求动态调整采样温度的问题。传统方法通常使用固定的温度值，这在处理既需要创造力又需要准确性的任务时效果不佳。

论文提出了自适应解码（Adaptive Decoding）技术，通过在模型中添加一个额外的层，在推理时动态选择采样温度，以优化不同任务的性能。为了训练这一层的参数，论文引入了一种新的方法——隐式偏好优化（Latent Preference Optimization，LPO），用于训练离散的隐变量如温度选择。

论文在多个任务上进行了实验，包括UltraFeedback、创意故事写作和GSM8K等，展示了自适应解码方法在这些任务上的优越性。实验结果表明，该方法优于所有固定温度的解码策略。此外，论文还提供了开源代码，便于其他研究者复现和进一步研究。

近期在这个领域内，还有一些相关的研究，例如： 1. "Temperature Control for Neural Text Generation" - 探讨了如何通过控制温度来改善文本生成的质量。 2. "Dynamic Decoding Strategies for Neural Machine Translation" - 研究了神经机器翻译中的动态解码策略。 3. "Learning to Adaptively Decode with Reinforcement Learning" - 使用强化学习来学习适应性的解码策略。