FouRA: Fourier Low Rank Adaptation

虽然低秩适应（LoRA）已经被证明对于高效地微调大型模型是有益的，但是LoRA微调的文本到图像扩散模型在生成的图像中缺乏多样性，因为模型倾向于从观察到的训练样本中复制数据。这种效应在适配器强度更高和适配器秩更高的情况下更加明显，这些适配器是在较小的数据集上微调的。为了解决这些挑战，我们提出了FouRA，一种新的低秩方法，它在傅里叶域中学习投影，并学习了一种灵活的输入依赖适配器秩选择策略。通过广泛的实验和分析，我们展示了FouRA成功解决了与数据复制和分布崩溃相关的问题，同时显著提高了生成图像的质量。我们证明了FouRA通过其自适应秩选择增强了微调模型的泛化能力。我们进一步展示了在频率域中学习的投影是去相关的，并且在合并多个适配器时证明了其有效性。虽然FouRA是为视觉任务而设计的，但我们还展示了它在GLUE基准测试中进行语言任务的优点。

论文旨在解决使用低秩适配器fine-tune文本到图像扩散模型时，生成的图像缺乏多样性的问题。同时，针对使用较高的适配器强度和在较小数据集上fine-tune的高秩适配器，数据复制的效应更加明显。

论文提出了一种名为FouRA的新型低秩方法，该方法在傅里叶域中学习投影，并学习一种灵活的基于输入的适配器秩选择策略，以解决数据复制和分布崩溃的问题，同时显著提高生成图像的质量。

论文通过大量实验和分析表明，FouRA成功解决了与数据复制和分布崩溃相关的问题，同时提高了fine-tune模型的泛化能力。论文还展示了在频率域中学习的投影是相互独立的，并且在合并多个适配器时证明了其有效性。此外，论文还展示了FouRA在GLUE基准测试中的优点。

最近在这个领域中，还有一些相关的研究，如Low-Rank Adaptation (LoRA)。