Implicit Style-Content Separation using B-LoRA

图像风格化涉及操纵图像的视觉外观和纹理（风格），同时保留其基础对象、结构和概念（内容）。分离风格和内容对于独立操纵图像的风格而不影响其内容，确保结果和谐和视觉上令人愉悦至关重要。实现这种分离需要深入理解图像的视觉和语义特征，通常需要训练专门的模型或进行重度优化。在本文中，我们介绍了B-LoRA，一种利用LoRA（低秩自适应）隐式分离单个图像的风格和内容组件的方法，以便进行各种图像风格化任务。通过分析SDXL与LoRA结合的架构，我们发现联合学习两个特定块（称为B-LoRAs）的LoRA权重可以实现无法通过单独训练每个B-LoRA实现的风格和内容分离。将训练集中在仅两个块上并分离风格和内容可显着改善风格操作并克服通常与模型微调相关的过度拟合问题。一旦训练完成，两个B-LoRA可以作为独立组件用于各种图像风格化任务，包括图像风格转移、基于文本的图像风格化、一致的风格生成和风格-内容混合。

B-LoRA试图解决图像风格化中的样式和内容分离问题，以便更好地进行图像风格转移等任务。

B-LoRA使用LoRA来实现单个图像的样式和内容分离，通过联合训练两个特定块的LoRA权重来实现样式和内容的分离。

B-LoRA的实验结果表明，在图像风格转移等任务中，B-LoRA的表现优于现有的方法。论文还提供了B-LoRA在多个数据集上的实验结果，并公开了代码。

最近的相关研究包括AdaIN，WCT和MUNIT等方法。