ProAct: Progressive Training for Hybrid Clipped Activation Function to Enhance Resilience of DNNs

深度神经网络（DNNs）广泛应用于安全关键应用程序中，其中确保硬件可靠性是首要考虑的问题。为了增强DNNs对硬件故障的可靠性，激活限制技术显著减轻了DNN结构层面上的故障影响，不受加速器架构的影响。最先进的方法提供了神经元级别或层级别的剪辑激活函数。它们试图使用启发式和基于学习的方法确定最佳的剪辑阈值。层级剪辑激活函数不能在高误比特率下保持DNNs的弹性。另一方面，神经元级别的剪辑激活函数由于参数的增加而引入了相当大的内存开销，增加了它们对故障的脆弱性。此外，基于启发式的优化方法在搜索过程中需要大量的故障注入，导致阈值识别耗时。另一方面，同时为整个层训练阈值的基于学习的技术通常产生次优结果。在这项工作中，首先我们证明了在DNNs的所有层中都不必使用神经元级别的激活函数。然后，我们提出了一种混合剪辑激活函数，将神经元级别和层级别方法集成在一起，仅在DNNs的最后一层应用神经元级别的剪辑。此外，为了获得剪辑激活函数的最佳阈值，我们引入了一种渐进式训练方法ProAct。这种方法逐层迭代地训练阈值，旨在分别获得每层的最佳阈值值。

提高DNN的硬件可靠性，减轻硬件故障对DNN的影响

提出一种混合剪裁激活函数，将神经元级别和层级别的剪裁方法结合起来，只在DNN的最后一层应用神经元级别的剪裁，并引入一种渐进式训练方法来获得最佳的剪裁阈值

实验结果表明，在DNN的所有层中都不需要使用神经元级别的激活函数；引入的渐进式训练方法能够获得最佳的剪裁阈值；

最近的相关研究包括使用剪裁激活函数来提高DNN的硬件可靠性的其他方法，以及在DNN硬件可靠性方面的其他相关工作。