Dynamic ReLU

论文地址：https://arxiv.org/abs/2003.10027 论文代码：https://github.com/Islanna/DynamicReLU

ReLU是深度学习中很重要的里程碑，简单但强大，能够极大地提升神经网络的性能。目前也有很多ReLU的改进版，比如Leaky ReLU和 PReLU，而这些改进版和原版的最终参数都是固定的。所以论文自然而然地想到，如果能够根据输入特征来调整ReLU的参数可能会更好。

基于上面的想法，论文提出了动态ReLU(DY-ReLU)，能够在带来少量额外计算的情况下，显著地提高网络的表达能力。另外，论文提供了三种形态的DY-ReLU，在空间位置和维度上有不同的共享机制。不同形态的DY-ReLU适用于不同的任务，论文也通过实验验证，DY-ReLU在关键点识别和图像分类上均有不错的提升。

内容中包含的图片若涉及版权问题，请及时与我们联系删除