BasisN: Reprogramming-Free RRAM-Based In-Memory-Computing by Basis Combination for Deep Neural Networks

深度神经网络（DNNs）在图像识别和语言处理等各个领域都取得了突破。DNNs执行数亿次乘加（MAC）运算。为了有效加速这些计算，利用新兴器件如阻性RAM（RRAM）的模拟内存计算平台已经出现。然而，这样的加速器面临一个障碍，即需要足够的芯片交叉栏来容纳DNN的所有权重。否则，交叉栏中的RRAM单元需要重新编程以处理更多的层，这会导致由于RRAM单元的极慢的写入和验证而产生巨大的时间/能量开销。因此，目前在工业界还无法部署这样的加速器来处理大规模的DNN。为了解决这个问题，我们提出了BasisN框架，可以在任意数量的可用交叉栏上加速DNN，而无需重新编程。BasisN将DNN层中的内核表示为全局基向量的组合，这些向量在所有层之间共享，具有量化系数。这些基向量仅需写入交叉栏一次，并用于所有层的计算，只需进行少量的硬件修改。BasisN还提供了一种新的训练方法，利用全局基向量增强计算并优化系数以构造内核。实验结果表明，在处理ImageNet和CIFAR100数据集上的大规模DNN（如DenseNet和ResNet）时，与在交叉栏上重新编程相比，推理每个周期和能量延迟乘积都降低到了不到1％，而培训和硬件成本可以忽略不计。

如何在不需要重新编程的情况下，在任意数量的交叉栏上加速深度神经网络的计算？

提出BasisN框架，将DNN层中的内核表示为全局基向量的组合，这些向量在所有层之间共享，只需将它们写入交叉栏一次即可，同时优化系数以构造内核。

BasisN框架可以将推理的循环数和能量延迟乘积降低到1%以下，而培训和硬件成本可以忽略不计。实验使用ImageNet和CIFAR100数据集，并展示了BasisN的优越性能。

在类似的领域中，已经有许多工作尝试使用交叉栏加速DNN计算，但它们需要重新编程交叉栏，这会导致巨大的时间/能量开销。