X-Adapter: Adding Universal Compatibility of Plugins for Upgraded Diffusion Model

我们介绍了X-Adapter，这是一个通用的升级器，可以使预训练的即插即用模块（例如ControlNet、LoRA）直接与升级的文本到图像扩散模型（例如SDXL）配合使用，无需进一步重新训练。我们通过训练一个额外的网络来控制冻结的升级模型与新的文本-图像数据对。具体来说，X-Adapter保留了旧模型的冻结副本，以保留不同插件的连接器。此外，X-Adapter添加了可训练的映射层，用于桥接来自不同版本模型的解码器进行特征重映射。重映射的特征将用作升级模型的指导。为了增强X-Adapter的指导能力，我们采用了一种空文本训练策略来训练升级模型。训练后，我们还引入了一个两阶段去噪策略，以使X-Adapter和升级模型的初始潜在因素对齐。由于我们的策略，X-Adapter展示了与各种插件的通用兼容性，还使不同版本的插件能够共同工作，从而扩展了扩散社区的功能。为验证所提出的方法的有效性，我们进行了大量实验，结果表明X-Adapter可能有助于在升级的基础扩散模型中实现更广泛的应用。

本论文旨在介绍X-Adapter，一种通用的升级器，使预训练的插件能够直接与升级的文本到图像扩散模型配合使用，而无需进一步的重新训练。

X-Adapter通过训练一个额外的网络来控制冻结的升级模型，使用新的文本-图像数据对进行控制。X-Adapter保留旧模型的冻结副本，以保留不同插件的连接器。此外，X-Adapter添加了可训练的映射层，以桥接来自不同版本模型的解码器进行特征重映射。重映射的特征将用作升级模型的指导。为了增强X-Adapter的指导能力，我们采用了零文本训练策略。在训练后，我们还引入了两阶段去噪策略，以对齐X-Adapter和升级模型的初始潜变量。

本论文的亮点在于X-Adapter展示了与各种插件的通用兼容性，并使不同版本的插件能够一起工作，从而扩展了扩散社区的功能。通过大量的实验验证，本文证明了所提出的方法的有效性。

最近在这个领域中，还有一些相关的研究，如《Plug and Play Language Models: A Simple Approach to Controlled Text Generation》。