- 简介最近深度学习(DL)的研究探讨了使用快速傅里叶变换(FFT)来加速卷积神经网络(CNNs)中涉及的计算,通过在频域上用元素乘法代替空间卷积。这些方法主要依赖FFT来减少操作次数,可以通过采用实值FFT进一步减少。本文提出了使用相量形式,即复数的极坐标表示,作为传统方法的更有效替代方案。在CIFAR-10上进行的实验结果表明,与现代CNN架构中采用的矩形形式相比,我们的方法在训练期间可以实现高达1.376倍(平均为1.316倍)的速度提升,在推理期间可以实现高达1.390倍(平均为1.321倍)的速度提升。同样,在CIFAR-100上进行评估时,我们的方法在训练期间可以实现高达1.375倍(平均为1.299倍)的速度提升,在推理期间可以实现高达1.387倍(平均为1.300倍)的速度提升。最重要的是,由于我们方法的模块化特性,所提出的方法可以应用于任何现有的基于卷积的DL模型,无需进行设计更改。
- 图表
- 解决问题本论文旨在通过使用极坐标形式的相位器,替代传统的矩形形式,加速卷积神经网络中的计算,提高性能。
- 关键思路使用相位器的极坐标形式来代替传统的矩形形式,以提高卷积神经网络的计算速度和性能。
- 其它亮点论文使用CIFAR-10和CIFAR-100数据集进行实验,结果表明该方法在训练和推理过程中的速度提升效果显著,且可以应用于任何现有的卷积神经网络模型而无需进行设计更改。
- 最近的相关研究包括使用FFT加速卷积神经网络的方法。
沙发等你来抢
去评论
评论
沙发等你来抢