Preference Tuning with Human Feedback on Language, Speech, and Vision Tasks: A Survey

优化偏好是将深度生成模型与人类偏好对齐的关键过程。本文概述了最近偏好优化和人类反馈集成方面的最新进展。本文分为三个主要部分：1）介绍和基础知识：介绍强化学习框架、偏好调整任务、模型和跨不同模态的数据集：语言、语音和视觉，以及不同的策略方法；2）深入分析每种偏好调整方法：详细分析偏好调整中使用的方法；3）应用、讨论和未来方向：探讨偏好调整在下游任务中的应用，包括不同模态的评估方法，并展望未来研究方向。我们的目标是呈现偏好调整和模型对齐的最新方法，增强研究人员和从业者对该领域的理解。我们希望鼓励更多人参与和创新该领域。

本篇论文旨在介绍深度生成模型的偏好调整和人类反馈整合的最新方法，以解决模型与人类偏好不一致的问题。

论文提出了一种基于强化学习框架的偏好调整方法，并探讨了在不同模态（语言、语音和视觉）下的应用。该方法将人类反馈作为奖励信号，通过调整模型参数来最大化奖励信号，从而实现模型与人类偏好的一致。

论文分为三个部分：介绍和准备工作、偏好调整方法的详细分析以及应用、讨论和未来方向。实验使用了多个不同的数据集，并提供了开源代码。值得关注的是，该方法在不同模态下的表现都非常优秀，并且可以应用于多个下游任务，如图像生成和对话生成。

与本文相关的研究包括：《A survey of preference-based RL》、《Preference-based reinforcement learning: a review》、《Preference-based interactive evolution of deep generative models》等。