RepAct: The Re-parameterizable Adaptive Activation Function

这项研究针对物联网和边缘计算中高效人工智能的迫切需求，提出了一种名为RepAct的可重新参数化的自适应激活函数，旨在优化边缘设备计算限制下的轻量级神经网络。通过采用可学习的自适应权重的多分支结构，RepAct丰富了特征处理并增强了跨层可解释性。在图像分类和物体检测等任务中进行评估时，RepAct在轻量级网络中明显优于传统激活函数，在ImageNet100数据集上，MobileNetV3-Small的准确率提高了高达7.92％，同时保持与HardSwish相当的计算复杂度。这种创新方法不仅最大化了模型参数效率，而且显著提高了轻量级神经网络的性能和理解能力，展示了它在实时边缘计算应用中的潜力。

本论文旨在解决在IoT和边缘计算中需要高效人工智能的迫切需求。具体而言，论文提出了一种适用于轻量级神经网络的可重新参数化自适应激活函数，以优化边缘设备的计算限制。

论文提出的RepAct采用可学习的自适应权重的多分支结构，丰富了特征处理，提高了跨层的可解释性。在图像分类和目标检测等任务中，RepAct明显优于传统激活函数在轻量级网络上的表现，对于ImageNet100数据集的MobileNetV3-Small模型，精度提高了7.92％，同时保持与HardSwish相当的计算复杂度。

论文的实验设计充分，使用了多个数据集，并提供了开源代码。RepAct不仅最大化了模型参数效率，还显著提高了轻量级神经网络的性能和理解能力，具有实时边缘计算应用的潜力。

最近的相关研究包括《MobileNetV3: Searching for MobileNetV3》、《GhostNet: More Features from Cheap Operations》等。