ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs

针对概念驱动的个性化生成，微调生成模型的方法通常可以实现主题驱动或风格驱动的强大效果。最近，提出了低秩适应（LoRA）作为实现概念驱动个性化的一种参数有效的方法。虽然最近的研究探讨了将单独的LoRA组合起来实现学习风格和主题的联合生成，但现有技术并不能可靠地解决这个问题。它们经常会牺牲主题保真度或风格保真度。我们提出了ZipLoRA，一种便宜而有效的方法，用于合并独立训练的风格和主题LoRA，以实现在任何用户提供的风格中生成任何用户提供的主题。对各种主题和风格组合的实验表明，ZipLoRA可以生成引人入胜的结果，并在主题和风格保真度方面比基线有意义的改进，同时保留了重新语境化的能力。项目页面：https://ziplora.github.io

论文旨在解决如何通过合并已经独立训练的风格和主题低秩适应（LoRA）来实现任意用户提供的主题和风格的生成的问题。这是一个新问题。

论文的关键思路是提出了ZipLoRA方法，通过廉价而有效地合并独立训练的风格和主题LoRA，以实现任意用户提供的主题和风格的生成。相比当前领域的研究，该方法具有更好的主题和风格保真度，并且保留了重新文本化的能力。

论文通过实验展示了ZipLoRA方法的有效性，并与基线方法进行了比较，结果表明ZipLoRA在主题和风格保真度方面具有显著的改进。论文还提供了项目页面和开源代码，值得进一步研究。

最近的相关研究包括使用深度学习模型进行个性化生成的方法，如GAN、VAE和Transformer。其中一些研究包括“Towards Personalized Text Generation conditioned on Stylistic Traits”和“Controllable Text Generation with Plug and Play Language Models”。