Multi-LoRA Composition for Image Generation

本文中，Low-Rank Adaptation（LoRA）广泛应用于文本到图像模型中，以准确呈现生成图像中的特定元素，如独特的字符或风格。然而，现有方法在有效组合多个LoRA方面面临挑战，特别是随着要集成的LoRA数量增加，从而阻碍了复杂图像的创建。在本文中，我们从解码中心的角度研究了多个LoRA组合。我们提出了两种无需训练的方法：LoRA Switch，在每个去噪步骤中交替使用不同的LoRA；LoRA Composite，同时结合所有LoRA以指导更具连贯性的图像合成。为了评估所提出的方法，我们建立了ComposLoRA作为本研究的新综合测试平台。它包含了各种LoRA类别和480个组合集。利用基于GPT-4V的评估框架，我们的研究结果表明，相比流行基准线，我们的方法在性能上有明显的改进，特别是在增加组合中的LoRA数量时更为明显。

本文旨在解决多个LoRA的有效组合问题，以实现更复杂的图像合成。现有方法在组合多个LoRA时面临挑战，因此需要提出新的解决方案。

本文提出了两种无需训练的方法：LoRA Switch和LoRA Composite，以从解码角度实现多个LoRA的组合。这些方法在480个组合集上进行了测试，并且证明了相对于当前基线的性能提升，特别是在组合多个LoRA时。

本文提出了两种新的方法来解决多个LoRA的组合问题，这些方法不需要进行额外的训练。作者还创建了一个名为ComposLoRA的全面测试基准，并使用GPT-4V评估框架进行了实验。研究结果表明，这些方法在多个LoRA组合时具有更好的性能表现。

在这个领域中，最近的相关研究包括：'Generative Adversarial Networks for Image-to-Image Translation: A Review'，'Text-to-Image Generation: A Review'，'Multi-Modal Methods: Image Generation with Text, Audio, and Video'等。