Lightweight Inference for Forward-Forward Training Algorithm

人类大脑以出色的能效（约20瓦）执行任务。而最先进的人工神经网络（ANN/DNN）最近被证明消耗大量能量。这些ANN/DNN的训练基本上都是基于反向传播算法完成的，该算法被认为在生物学上不可行。这导致了新一代的仅向前技术的出现，包括前向前向算法。本文提出了一种专门为使用前向前向算法训练的DNNs设计的轻量级推理方案。我们在MNIST和CIFAR数据集以及两个真实世界应用中评估了我们提出的轻量级推理方案，即使用可穿戴技术进行癫痫发作检测和心律失常分类，其中复杂性开销/能量消耗是一个重要的约束，并展示了其相关性。

提出一种针对使用Forward-Forward算法训练的DNNs的轻量级推理方案，以解决当前DNNs在能量消耗方面存在的问题，尤其是在复杂度开销和能量消耗是主要限制的实际应用中的问题。

使用基于Forward-Forward算法训练的DNNs的特点，提出一种轻量级推理方案，通过减少内存访问和计算操作来优化能量效率。

使用MNIST和CIFAR数据集以及癫痫发作检测和心律失常分类这两个实际应用来评估所提出的轻量级推理方案，展示了其在能量效率方面的优越性。此外，论文还开源了代码，为后续研究提供了基础。

最近的相关研究包括基于蒸馏的模型压缩和基于量化的模型压缩等，如《Distilling the Knowledge in a Neural Network》和《Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference》。