Binarized Diffusion Model for Image Super-Resolution

2024年06月09日
  • 简介
    先进的扩散模型在图像超分辨率方面表现出色,但高昂的内存和计算成本阻碍了它们的应用。二值化是一种超级压缩算法,可以有效加速扩散模型。然而,由于模型结构和扩散模型的多步迭代属性,现有的二值化方法导致了显著的性能下降。本文介绍了一种新的二值化扩散模型BI-DiffSR,用于图像超分辨率。首先,针对模型结构,我们设计了一个针对二值化优化的UNet架构。我们提出了一致像素下采样(CP-Down)和一致像素上采样(CP-Up)来保持尺寸一致,并促进全精度信息的传输。同时,我们设计了通道混洗融合(CS-Fusion)来增强跳跃连接中的特征融合。其次,针对不同时间步的激活差异,我们设计了时间步感知的重新分配(TaR)和激活函数(TaA)。TaR和TaA根据不同的时间步动态调整激活的分布,提高了二值化模块的灵活性和表示能力。全面的实验表明,我们的BI-DiffSR优于现有的二值化方法。代码可在https://github.com/zhengchen1999/BI-DiffSR上获得。
  • 图表
  • 解决问题
    本论文旨在提出一种新的二值化扩散模型BI-DiffSR,以加速图像超分辨率处理。现有的二值化方法在处理多步迭代的扩散模型时会导致性能下降,因此需要一种新的方法。
  • 关键思路
    论文提出了一种优化的UNet结构,包括CP-Down和CP-Up来保持尺寸一致性,以及CS-Fusion来增强跳跃连接中的特征融合。同时,通过设计TaR和TaA来动态调整激活函数的分布,提高二值化模块的灵活性和表现能力。
  • 其它亮点
    论文的实验结果表明,提出的BI-DiffSR方法优于现有的二值化方法。作者还提供了代码,并使用了多个数据集进行实验评估。该研究的亮点包括优化的UNet结构和动态调整激活函数的方法。
  • 相关研究
    最近的相关研究包括:1)基于GAN的图像超分辨率方法;2)基于深度学习的超分辨率方法;3)基于扩散模型的超分辨率方法等。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论