神经网络中常用的激活函数

一时失言乱红尘 2022-05-27 09:17 236阅读 0赞

#  #

原文地址：[http://www.cnblogs.com/rgvb178/p/6055213.html][http_www.cnblogs.com_rgvb178_p_6055213.html]  
版权声明：本文为博主原创文章，未经博主允许不得转载。

## 激活函数的作用 ##

首先，激活函数不是真的要去激活什么。在神经网络中，激活函数的作用是能够给神经网络加入一些非线性因素，使得神经网络可以更好地解决较为复杂的问题。  
比如在下面的这个问题中：  
![1015872-20161111172416233-1532646403.png][]  
如上图([图片来源][Link 1])，在最简单的情况下，数据是线性可分的，只需要一条直线就已经能够对样本进行很好地分类。  
![1015872-20161111172548905-1752891707.png][]  
但如果情况变得复杂了一点呢？在上图中([图片来源][Link 1])，数据就变成了线性不可分的情况。在这种情况下，简单的一条直线就已经不能够对样本进行很好地分类了。  
![1015872-20161111172555577-1362105224.png][]  
于是我们尝试引入非线性的因素，对样本进行分类。

在神经网络中也类似，我们需要引入一些非线性的因素，来更好地解决复杂的问题。而激活函数恰好能够帮助我们引入非线性因素，它使得我们的神经网络能够更好地解决较为复杂的问题。

## 激活函数的定义及其相关概念 ##

在ICML2016的一篇论文[Noisy Activation Functions][]中，作者将激活函数定义为一个几乎处处可微的 h : R → R 。  
![1015872-20161111172602124-975763476.jpg][]

在实际应用中，我们还会涉及到以下的一些概念：  
a.饱和  
当一个激活函数h(x)满足

limn→\+∞h′(x)=0limn→+∞h′(x)=0

时我们称之为 右饱和。

当一个激活函数h(x)满足

limn→−∞h′(x)=0limn→−∞h′(x)=0

时我们称之为 左饱和。当一个激活函数，既满足左饱和又满足又饱和时，我们称之为 饱和。

b.硬饱和与软饱和  
对任意的xx，如果存在常数cc，当x>cx>c时恒有 h′(x)=0h′(x)=0则称其为右硬饱和，当x<cx<c时恒 有h′(x)=0h′(x)=0则称其为左硬饱和。若既满足左硬饱和，又满足右硬饱和，则称这种激活函数为硬饱和。但如果只有在极限状态下偏导数等于0的函数，称之为软饱和。

## Sigmoid函数 ##

Sigmoid函数曾被广泛地应用，但由于其自身的一些缺陷，现在很少被使用了。Sigmoid函数被定义为：

f(x)=11\+e−xf(x)=11+e−x

函数对应的图像是：  
![1015872-20161111212723342-1857392794.jpg][]

优点：  
1.Sigmoid函数的输出映射在(0,1)(0,1)之间，单调连续，输出范围有限，优化稳定，可以用作输出层。  
2.求导容易。

缺点：  
1.由于其软饱和性，容易产生梯度消失，导致训练出现问题。  
2.其输出并不是以0为中心的。

## tanh函数 ##

现在，比起Sigmoid函数我们通常更倾向于tanh函数。tanh函数被定义为

tanh(x)=1−e−2x1\+e−2xtanh(x)=1−e−2x1+e−2x

函数位于\[-1, 1\]区间上，对应的图像是：  
![1015872-20161111212906327-145918784.jpg][]  
优点：  
1.比Sigmoid函数收敛速度更快。  
2.相比Sigmoid函数，其输出以0为中心。  
缺点：  
还是没有改变Sigmoid函数的最大问题——由于饱和性产生的梯度消失。

## ReLU ##

ReLU是最近几年非常受欢迎的激活函数。被定义为

y=\{ 0x(x≤0)(x>0)y=\{0(x≤0)x(x>0)

对应的图像是：  
![1015872-20161111173702217-558562359.jpg][]  
但是除了ReLU本身的之外，TensorFlow还提供了一些相关的函数，比如定义为min(max(features, 0), 6)的tf.nn.relu6(features, name=None)；或是CReLU，即tf.nn.crelu(features, name=None)。其中(CReLU部分可以参考 [这篇论文][Link 2])。  
优点：  
1.相比起Sigmoid和tanh，ReLU [(e.g. a factor of 6 in Krizhevsky et al.)][e.g. a factor of 6 in Krizhevsky et al.]在SGD中能够快速收敛。例如在下图的实验中，在一个四层的卷积神经网络中，实线代表了ReLU，虚线代表了tanh，ReLU比起tanh更快地到达了错误率0.25处。据称，这是因为它线性、非饱和的形式。  
![1015872-20161111215108295-1799912495.jpg][]  
2.Sigmoid和tanh涉及了很多很expensive的操作（比如指数），ReLU可以更加简单的实现。  
3.有效缓解了梯度消失的问题。  
4.在没有无监督预训练的时候也能有较好的表现。  
![1015872-20161111221416827-317168603.png][]  
5.提供了神经网络的稀疏表达能力。

缺点：  
随着训练的进行，可能会出现神经元死亡，权重无法更新的情况。如果发生这种情况，那么流经神经元的梯度从这一点开始将永远是0。也就是说，ReLU神经元在训练中不可逆地死亡了。

## LReLU、PReLU与RReLU ##

![1015872-20161111222702295-1595850649.png][]

通常在LReLU和PReLU中，我们定义一个激活函数为

f(yi)=\{ yiaiyiif(yi>0)if(yi≤0)f(yi)=\{yiif(yi>0)aiyiif(yi≤0)

\-LReLU  
当aiai比较小而且固定的时候，我们称之为LReLU。LReLU最初的目的是为了避免梯度消失。但在一些实验中，我们发现LReLU对准确率并没有太大的影响。很多时候，当我们想要应用LReLU时，我们必须要非常小心谨慎地重复训练，选取出合适的aa，LReLU的表现出的结果才比ReLU好。因此有人提出了一种自适应地从数据中学习参数的PReLU。

\-PReLU  
PReLU是LReLU的改进，可以自适应地从数据中学习参数。PReLU具有收敛速度快、错误率低的特点。PReLU可以用于反向传播的训练，可以与其他层同时优化。  
![1015872-20161111223256327-2116806837.png][]  
在论文Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification中，作者就对比了PReLU和ReLU在ImageNet model A的训练效果。  
值得一提的是，在tflearn中有现成的LReLU和PReLU可以直接用。

\-RReLU  
在RReLU中，我们有

yji=\{ xjiajixjiif(xji>0)if(xji≤0)yji=\{xjiif(xji>0)ajixjiif(xji≤0)

aji∼U(l,u),l<uandl,u∈\[0,1)aji∼U(l,u),l<uandl,u∈\[0,1)

其中， ajiaji是一个保持在给定范围内取样的随机变量，在测试中是固定的。RReLU在一定程度上能起到正则效果。  
![1015872-20161111224300905-294466902.png][]  
在论文Empirical Evaluation of Rectified Activations in Convolution Network中，作者对比了RReLU、LReLU、PReLU、ReLU 在CIFAR-10、CIFAR-100、NDSB网络中的效果。

## ELU ##

ELU被定义为

f(x)=\{ a(ex−1)xif(x<0)if(0≤x)f(x)=\{a(ex−1)if(x<0)xif(0≤x)

其中 a>0a>0。  
![2.jpg-34.2kB][]

优点：  
1.ELU减少了正常梯度与单位自然梯度之间的差距，从而加快了学习。  
2.在负的限制条件下能够更有鲁棒性。

ELU相关部分可以参考[这篇论文][Link 3]。

## Softplus与Softsign ##

Softplus被定义为

f(x)=log(ex\+1)f(x)=log(ex+1)

Softsign被定义为

f(x)=x|x|\+1f(x)=x|x|+1

目前使用的比较少，在这里就不详细讨论了。TensorFlow里也有现成的可供使用。 [激活函数相关TensorFlow的官方文档][TensorFlow]

## 总结 ##

关于激活函数的选取，目前还不存在定论，实践过程中更多还是需要结合实际情况，考虑不同激活函数的优缺点综合使用。同时，也期待越来越多的新想法，改进目前存在的不足。

[http_www.cnblogs.com_rgvb178_p_6055213.html]: http://www.cnblogs.com/rgvb178/p/6055213.html
[1015872-20161111172416233-1532646403.png]: /images/20220527/881ebee9eb9143d2a61d10fbf9f5db67.png
[Link 1]: https://www.quora.com/What-is-the-role-of-the-activation-function-in-a-neural-network
[1015872-20161111172548905-1752891707.png]: /images/20220527/68ac0864302e4e8c8a57c7b716beaf96.png
[1015872-20161111172555577-1362105224.png]: /images/20220527/9addae30a6184a07b687f4ba5637a277.png
[Noisy Activation Functions]: https://arxiv.org/pdf/1603.00391v3.pdf
[1015872-20161111172602124-975763476.jpg]: /images/20220527/0b3bdd3a54c64f178e62bad5389f6718.png
[1015872-20161111212723342-1857392794.jpg]: /images/20220527/9e9078f518a0471d9e130f45e23ac996.png
[1015872-20161111212906327-145918784.jpg]: /images/20220527/327d5b322e45482584b2900d39a94c0b.png
[1015872-20161111173702217-558562359.jpg]: /images/20220527/016b8d3669ef4c6a8a82aa097bdecb94.png
[Link 2]: https://arxiv.org/pdf/1603.05201v2.pdf
[e.g. a factor of 6 in Krizhevsky et al.]: http://www.cs.toronto.edu/~fritz/absps/imagenet.pdf
[1015872-20161111215108295-1799912495.jpg]: /images/20220527/2382fc89ad7b4ab08571117fcdd9dc6d.png
[1015872-20161111221416827-317168603.png]: /images/20220527/26254cf63cac48c4b9e25ed6f6d76563.png
[1015872-20161111222702295-1595850649.png]: /images/20220527/70e8662fdfe74846a3bb1c31617bc800.png
[1015872-20161111223256327-2116806837.png]: /images/20220527/491bd522f60545c585b1d96e8ca20903.png
[1015872-20161111224300905-294466902.png]: /images/20220527/b029d877c03a429d9945eeac5dfba94d.png
[2.jpg-34.2kB]: /images/20220527/ac0d103a21c743c48635e059b256ae9d.png
[Link 3]: https://arxiv.org/pdf/1511.07289v5.pdf
[TensorFlow]: https://www.tensorflow.org/api_docs/python/nn/activation_functions_#top_of_page