Phasor-Driven Acceleration for FFT-based CNNs

2024年06月01日
  • 简介
    最近深度学习(DL)的研究探讨了使用快速傅里叶变换(FFT)来加速卷积神经网络(CNNs)中涉及的计算,通过在频域上用元素乘法代替空间卷积。这些方法主要依赖FFT来减少操作次数,可以通过采用实值FFT进一步减少。本文提出了使用相量形式,即复数的极坐标表示,作为传统方法的更有效替代方案。在CIFAR-10上进行的实验结果表明,与现代CNN架构中采用的矩形形式相比,我们的方法在训练期间可以实现高达1.376倍(平均为1.316倍)的速度提升,在推理期间可以实现高达1.390倍(平均为1.321倍)的速度提升。同样,在CIFAR-100上进行评估时,我们的方法在训练期间可以实现高达1.375倍(平均为1.299倍)的速度提升,在推理期间可以实现高达1.387倍(平均为1.300倍)的速度提升。最重要的是,由于我们方法的模块化特性,所提出的方法可以应用于任何现有的基于卷积的DL模型,无需进行设计更改。
  • 图表
  • 解决问题
    本论文旨在通过使用极坐标形式的相位器,替代传统的矩形形式,加速卷积神经网络中的计算,提高性能。
  • 关键思路
    使用相位器的极坐标形式来代替传统的矩形形式,以提高卷积神经网络的计算速度和性能。
  • 其它亮点
    论文使用CIFAR-10和CIFAR-100数据集进行实验,结果表明该方法在训练和推理过程中的速度提升效果显著,且可以应用于任何现有的卷积神经网络模型而无需进行设计更改。
  • 相关研究
    最近的相关研究包括使用FFT加速卷积神经网络的方法。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论