RB-Modulation: Training-Free Personalization of Diffusion Models using Stochastic Optimal Control

我们提出了一种新的即插即用解决方案，称为基于参考的调制（RB-Modulation），用于训练免费的扩散模型个性化。现有的免费训练方法存在以下困难：（a）在没有其他样式或内容文本描述的情况下从参考图像中提取样式，（b）从参考样式图像中泄漏不需要的内容，以及（c）有效地组合样式和内容。RB-Modulation建立在一种新颖的随机最优控制器上，其中样式描述符通过终端成本对所需属性进行编码。由此产生的漂移不仅克服了上述困难，而且确保高度忠实于参考样式并遵守给定的文本提示。我们还引入了一种基于交叉关注的特征聚合方案，使RB-Modulation能够将内容和样式与参考图像分离。通过理论证明和经验证据，我们的框架以训练免费的方式展示了内容和样式的精确提取和控制。此外，我们的方法允许无缝地组合内容和样式，这标志着与外部适配器或ControlNets的依赖关系不同的方法。

RB-Modulation旨在解决无需训练的个性化扩散模型的问题，包括从参考图像中提取风格、避免不必要的内容泄漏和有效地组合风格和内容。

RB-Modulation基于一种新的随机最优控制器，其中风格描述符通过终端成本编码所需的属性。该框架采用交叉注意力特征聚合方案，允许从参考图像中解耦内容和风格，并实现了内容和风格的无缝组合。

RB-Modulation框架在无需训练的情况下实现了对内容和风格的精确提取和控制，同时具有高保真度和符合所给文本提示的特点。实验表明了该框架的有效性，并提供了开源代码。

最近的相关研究包括使用外部适配器或ControlNets实现内容和风格的组合，以及使用迁移学习和GAN等方法进行图像风格转换。