ReLU、LReLU、PReLU、CReLU、ELU、SELU Dear 丶 2023-06-04 02:51 3阅读 0赞 # ReLU、LReLU、PReLU、CReLU、ELU、SELU # 2018年01月22日 22:25:34 [luxiaohai的学习专栏][luxiaohai] 阅读数 28218更多 分类专栏： [深度学习][Link 1] 版权声明：本文为博主原创文章，遵循[ CC 4.0 BY-SA ][CC 4.0 BY-SA]版权协议，转载请附上原文出处链接和本声明。 本文链接： [https://blog.csdn.net/qq\_20909377/article/details/79133981][https_blog.csdn.net_qq_20909377_article_details_79133981] * * [ReLU][] * [LReLU][] * [PReLU][] * [CReLU][] * [ELU][] * [SELU][] ## ReLU ## ![这里写图片描述][SouthEast] tensorflow中：tf.nn.relu(features, name=None) ## LReLU ## (Leaky-ReLU) ![这里写图片描述][SouthEast 1] 其中aiai是固定的。ii表示不同的通道对应不同的aiai. tensorflow中：tf.nn.leaky\_relu(features, alpha=0.2, name=None) ## PReLU ## ![这里写图片描述][SouthEast 1] 其中aiai是可以学习的的。如果ai=0ai=0，那么 PReLU 退化为ReLU；如果 aiai是一个很小的固定值（如ai=0.01ai=0.01），则 PReLU 退化为 Leaky ReLU（LReLU）。 PReLU 只增加了极少量的参数，也就意味着网络的计算量以及过拟合的危险性都只增加了一点点。特别的，当不同 channels 使用相同的aiai时，参数就更少了。BP 更新aiai时，采用的是带动量的更新方式（momentum）。 tensorflow中:没找到啊! ## CReLU ## （Concatenated Rectified Linear Units） ![dd][] tensorflow中：tf.nn.crelu(features, name=None) ## ELU ## ![这里写图片描述][SouthEast 2] ![这里写图片描述][SouthEast 3] 其中α是一个可调整的参数，它控制着ELU负值部分在何时饱和。 右侧线性部分使得ELU能够缓解梯度消失，而左侧软饱能够让ELU对输入变化或噪声更鲁棒。ELU的输出均值接近于零，所以收敛速度更快 tensorflow中：tf.nn.elu(features, name=None) ## SELU ## ![这里写图片描述][SouthEast 4] 经过该激活函数后使得样本分布自动归一化到0均值和单位方差(自归一化，保证训练过程中梯度不会爆炸或消失，效果比Batch Normalization 要好) 其实就是ELU乘了个lambda，关键在于这个lambda是大于1的。以前relu，prelu，elu这些激活函数，都是在负半轴坡度平缓，这样在activation的方差过大的时候可以让它减小，防止了梯度爆炸，但是正半轴坡度简单的设成了1。而selu的正半轴大于1，在方差过小的的时候可以让它增大，同时防止了梯度消失。这样激活函数就有一个不动点，网络深了以后每一层的输出都是均值为0方差为1。 tensorflow中：tf.nn.selu(features, name=None) ![这里写图片描述][SouthEast 5] 转载于:https://www.cnblogs.com/think90/p/11568713.html [luxiaohai]: https://me.csdn.net/qq_20909377 [Link 1]: https://blog.csdn.net/qq_20909377/article/category/7348562 [CC 4.0 BY-SA]: http://creativecommons.org/licenses/by-sa/4.0/ [https_blog.csdn.net_qq_20909377_article_details_79133981]: https://blog.csdn.net/qq_20909377/article/details/79133981 [ReLU]: https://blog.csdn.net/qq_20909377/article/details/79133981#relu [LReLU]: https://blog.csdn.net/qq_20909377/article/details/79133981#lrelu [PReLU]: https://blog.csdn.net/qq_20909377/article/details/79133981#prelu [CReLU]: https://blog.csdn.net/qq_20909377/article/details/79133981#crelu [ELU]: https://blog.csdn.net/qq_20909377/article/details/79133981#elu [SELU]: https://blog.csdn.net/qq_20909377/article/details/79133981#selu [SouthEast]: /images/20230601/f65131399554495f80df36409c6161d0.png [SouthEast 1]: /images/20230601/972e7adb7b8d4ffea47a27712f9a5a0a.png [dd]: /images/20230601/5ef580f5a4c24bdfb983302d9d45873a.png [SouthEast 2]: /images/20230601/2ba8393015e94248975137fbf772f6d7.png [SouthEast 3]: /images/20230601/a6abf60953d441f18c0a46eaa92e8dc6.png [SouthEast 4]: /images/20230601/db48088334aa4f969771546aa3af817e.png [SouthEast 5]: /images/20230601/881b80f56beb449aba64213ac9da7b97.png
还没有评论，来说两句吧...