MuseumMaker: Continual Style Customization without Catastrophic Forgetting

本文介绍了一种名为MuseumMaker的方法，用于通过遵循一组定制风格的方式，以永不停歇的方式合成图像，并逐渐将这些创意艺术作品积累为博物馆。在面对新的定制风格时，我们开发了一种样式蒸馏损失模块，用于提取和学习新图像生成的训练数据的样式。它可以最小化由新训练图像内容引起的学习偏差，并解决由少量图像引起的灾难性过拟合问题。为了处理过去学习的风格之间的灾难性遗忘，我们设计了一个双重正则化的共享LoRA模块，以优化模型更新的方向，这可以分别从权重和特征方面规范扩散模型。同时，为了进一步保留过去风格的历史知识并解决LoRA的有限可表示性，我们考虑了一种任务特定的令牌学习模块，其中学习了一个独特的令牌嵌入来表示新的风格。当出现任何新的用户提供的风格时，我们的MuseumMaker可以捕捉新风格的细微差别，同时保留学习风格的细节。在各种风格数据集上的实验结果验证了我们提出的MuseumMaker方法的有效性，展示了它在各种场景下的稳健性和多功能性。

论文试图解决如何在继续学习新样式的同时，保留已学习样式的生成图像质量问题，即避免灾难性遗忘问题。

提出了MuseumMaker方法，通过样式蒸馏损失模块和双重正则化的共享LoRA模块来解决灾难性遗忘问题。同时，还考虑了任务特定的令牌学习模块，以进一步保留历史知识。

实验结果表明，MuseumMaker方法在多种数据集上表现出鲁棒性和通用性。同时，该论文提出的方法还可以进一步改进，例如考虑多模态的样式输入。

最近的相关研究包括：《Few-Shot Text-to-Image Generation with Attribute Decoders》、《Generative Adversarial Networks》、《Learning to Learn without Forgetting》等。