Understanding Reinforcement Learning-Based Fine-Tuning of Diffusion Models: A Tutorial and Review

本教程全面介绍了微调扩散模型以优化下游奖励函数的方法。虽然扩散模型被广泛认为具有出色的生成建模能力，但在生物学等领域的实际应用中，需要生成最大化某些期望度量（例如RNA中的翻译效率，分子中的对接得分，蛋白质的稳定性）的样本。在这些情况下，扩散模型不仅可以优化生成真实样本，而且可以明确地最大化感兴趣的度量。这些方法基于强化学习（RL）的概念。我们解释了各种RL算法的应用，包括PPO，可微优化，奖励加权MLE，值加权采样和路径一致性学习，专门为微调扩散模型而设计。我们旨在探索不同RL-based微调算法在各种情况下的优点和局限性，RL-based微调与非RL-based方法相比的优势，以及RL-based微调的正式目标（目标分布）等基本方面。此外，我们还旨在研究它们与相关主题的联系，例如分类器指导，Gflownets，基于流的扩散模型，路径积分控制理论以及从未归一化分布中采样，例如MCMC。本教程的代码可在https://github.com/masa-ue/RLfinetuning_Diffusion_Bioseq上获得。

本论文旨在探讨如何使用强化学习算法fine-tuning扩展扩散模型，以优化下游的奖励函数，实现生成最大化某些度量的样本。

论文提出了基于强化学习算法的fine-tuning方法，包括PPO、可微优化、reward-weighted MLE、value-weighted sampling和path consistency learning等，用于优化扩散模型以生成最大化某些度量的样本。

本论文探讨了不同RL-based fine-tuning算法在不同情况下的优缺点，与非RL-based方法相比，RL-based fine-tuning的优势是什么，以及RL-based fine-tuning的目标分布是什么。此外，本论文还探讨了与分类器引导、Gflownets、基于流的扩散模型、路径积分控制理论以及从未标准化分布中采样等相关主题的联系。

最近在这个领域中，还有一些相关的研究，例如：Flow-based Deep Generative Models、Flow-based Models for Continuous Data、Normalizing Flows for Probabilistic Modeling and Inference、Flow-based Deep Generative Models for Sequential Data等。