在深度神经网络大行其道的今天，谁还不认识几个激活函数呢？ 下图就是一些我们经常使用的激活函数，从这些激活函数的图像可以看出它们有的是局部线性的有的是非线性的，有的是一个函数表达式下来的，有的是分段的。但其表达式好像都不是很常见，给人一种应凑的感觉有没有？ 比如在Relu出现之后，有人觉得x轴坐标都是0（神经元不激活）不太好，那就有了Leaky Rulu的出现，之后又有人提出线性的不太好，那就出现了ELU等等吧。总之Relu的变体一直增多，难道就不能换个花样吗？难道激活函数就得是分段函数去凑吗？

那有意思的就来了，近日斯坦福大学研究员Vincent Sitzmann 等人合作发表了一篇论文：

论文地址：https://arxiv.org/pdf/2006.09661.pdf 项目主页：https://vsitzmann.github.io/siren/ 开源代码：https://github.com/vsitzmann/siren 在这篇论文中研究人员在隐形神经表示中使用了正弦函数来替代以往的激活函数，那效果如何呢？

内容中包含的图片若涉及版权问题，请及时与我们联系删除