Switch Diffusion Transformer: Synergizing Denoising Tasks with Sparse Mixture-of-Experts

扩散模型在各种生成任务中取得了显著的成功。最近，增强扩散模型架构的努力将它们重新构想为一种多任务学习形式，其中每个任务对应于特定噪声水平下的去噪任务。虽然这些努力侧重于参数隔离和任务路由，但它们缺乏捕捉详细的任务间关系，并且可能会失去语义信息。为此，我们引入了Switch Diffusion Transformer (Switch-DiT)，它在不损失语义信息的情况下建立了冲突任务之间的相互关系。为了实现这一点，我们在每个Transformer块中采用了稀疏的专家混合，利用语义信息并通过参数隔离促进处理任务冲突。此外，我们提出了扩散先验损失，鼓励相似的任务共享它们的去噪路径，同时隔离冲突任务。通过这些，每个Transformer块包含所有任务的共享专家，其中共同和任务特定的去噪路径使扩散模型能够构建其有益的协同去噪任务的方式。广泛的实验验证了我们的方法在提高图像质量和收敛速度方面的有效性，并进一步分析表明Switch-DiT在各种生成场景下构建了定制的去噪路径。

本文旨在提出一种新的多任务学习方法，通过建立任务之间的关系来提高扩散模型的性能。

本文提出了Switch Diffusion Transformer (Switch-DiT)方法，利用稀疏混合专家模型在每个Transformer块中实现语义信息的利用和任务之间的冲突处理，同时提出扩散先验损失来鼓励相似任务共享其去噪路径，以及隔离冲突的任务。

本文的实验结果证明了Switch-DiT方法在提高图像质量和收敛速度方面的有效性。此外，Switch-DiT方法还能够根据不同的生成情景构建定制的去噪路径。

最近的相关研究包括：Diffusion Models, Multi-Task Learning, Transformer-based Models等。