【深度学习】激活函数

冷不防 2022-03-28 04:28 291阅读 0赞

**目录**

0 激活函数

1 sigmoid函数

2 阶跃函数

3 ReLU函数

4 Leaky ReLU函数

5 tanh函数

# 0 激活函数 #

**激活函数**（Activation functions）是神经网络的必要组成部分。以阈值为界，一旦输入超过阈值，就切换输出。

**激活函数作用**：激活函数是用来加入非线性因素的，增加模型的表达能力。因为线性模型的表达能力不够。

如果没有激活函数，多次线性运算的堆叠仍然是一个线性的运算，即不管用再多的层实质上只起到了一层神经网络的作用。一个好的激活函数，应当满足：

（1）不会饱和

sigmoid和tanh激活函数在两侧尾端会有饱和现象，这会使导数在这些区域接近零，从而阻碍网络的训练；

（2）零均值

ReLU激活函数的输出均值不为零，这会影响网络的训练；

（3）容易计算

# 1 sigmoid函数 #

最常使用的激活函数就是sigmoid函数(sigmoid function).在tensorflow中表示为

tf.nn.sigmoid()

![h(x) = \\frac\{1\}\{1+e^\{-x\}\}][h_x_ _ _frac_1_1_e_-x]

python实现

# coding: utf-8
    import numpy as np
    import matplotlib.pylab as plt
    
    
    def sigmoid(x):
        return 1 / (1 + np.exp(-x))    
    
    X = np.arange(-5.0, 5.0, 0.1)
    Y = sigmoid(X)
    plt.plot(X, Y)
    plt.ylim(-0.1, 1.1)
    plt.show()

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70][] sigmoid函数图像

# 2 阶跃函数 #

阶跃函数，当输出超过0时，输出1，小于0时，输出0

![h(x) = \\left\\\{\\begin\{matrix\} 1&x>0 & \\\\ 0&others & \\end\{matrix\}\\right.][h_x_ _ _left_begin_matrix_ 1_x_0 _ _ 0_others _ _end_matrix_right.]

python实现

# coding: utf-8
    import numpy as np
    import matplotlib.pylab as plt
    
    
    def step_function(x):
        return np.array(x > 0, dtype=np.int)
    
    X = np.arange(-5.0, 5.0, 0.1)
    Y = step_function(X)
    plt.plot(X, Y)
    plt.ylim(-0.1, 1.1)  # 指定图中绘制的y轴的范围
    plt.show()

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 1][] 阶跃函数图像

# 3 ReLU函数 #

ReLU函数在输入大于等于0时，直接输出该值，在输入小于等于0时，输出0；在tensorflow中表示为:

tf.nn.relu()

![h(x) =\\left\\\{\\begin\{matrix\} x & (x>0)) & \\\\ 0& (x\\leqslant 0))& \\end\{matrix\}\\right.][h_x_ _left_begin_matrix_ x _ _x_0_ _ _ 0_ _x_leqslant 0_ _end_matrix_right.]

python实现

# coding: utf-8
    import numpy as np
    import matplotlib.pylab as plt
    
    
    def relu(x):
        return np.maximum(0, x)
    
    x = np.arange(-5.0, 5.0, 0.1)
    y = relu(x)
    plt.plot(x, y)
    plt.ylim(-1.0, 5.5)
    plt.show()

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 2][] ReLU函数图像

# 4 Leaky ReLU函数 #

ReLU是将所有的负值都设为0，相反，Leaky ReLU是给所有负值赋予一个非零斜率。改模型在2013年首次在声学模型中使用。

![h(x) = \\left\\\{\\begin\{matrix\} x &x> 0 & \\\\ \\frac\{x\}\{a\}& x\\leqslant 0& \\end\{matrix\}\\right. a\\epsilon \\left ( 1,+\\infty \\right )][h_x_ _ _left_begin_matrix_ x _x_ 0 _ _ _frac_x_a_ x_leqslant 0_ _end_matrix_right. a_epsilon _left _ 1_infty _right]

python实现

# coding: utf-8
    import numpy as np
    import matplotlib.pylab as plt
    
    
    def leaky_relu(x):
        return np.maximum(x/20, x) # 这里a取20
    
    x = np.arange(-5.0, 5.0, 0.1)
    y = leaky_relu(x)
    plt.plot(x, y)
    plt.ylim(-1.0, 5.5)
    plt.show()

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 3][] Leaky ReLU函数图像

# 5 tanh函数 #

在tensorflow中表示为：

tf.nn.tanh()

表达式为：

![h(x) = \\frac\{1-e^\{-2x\}\}\{1+e^\{-2x\}\}][h_x_ _ _frac_1-e_-2x_1_e_-2x]

python实现

import numpy as np
    import matplotlib.pylab as plt
    
    def tanh(x):
        return (1-np.exp(-2*x)) / (1+np.exp(-2*x))
    
    X = np.arange(-5.0,5.0,0.1)
    Y = tanh(X)
    plt.plot(X,Y)
    plt.show()

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 4][]

--------------------

★finished by songpl,2019.1.9

[h_x_ _ _frac_1_1_e_-x]: https://private.codecogs.com/gif.latex?%5Cfn_jvn%20h%28x%29%20%3D%20%5Cfrac%7B1%7D%7B1&plus;e%5E%7B-x%7D%7D
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70]: /images/20220328/8cecb7ef014441eaa487082159eb4d4c.png
[h_x_ _ _left_begin_matrix_ 1_x_0 _ _ 0_others _ _end_matrix_right.]: https://private.codecogs.com/gif.latex?%5Cfn_jvn%20h%28x%29%20%3D%20%5Cleft%5C%7B%5Cbegin%7Bmatrix%7D%201%26x%3E0%20%26%20%5C%5C%200%26others%20%26%20%5Cend%7Bmatrix%7D%5Cright.
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 1]: /images/20220328/b8d00b625900453e8b87b99bba9c54cb.png
[h_x_ _left_begin_matrix_ x _ _x_0_ _ _ 0_ _x_leqslant 0_ _end_matrix_right.]: https://private.codecogs.com/gif.latex?%5Cfn_jvn%20h%28x%29%20%3D%5Cleft%5C%7B%5Cbegin%7Bmatrix%7D%20x%20%26%20%28x%3E0%29%29%20%26%20%5C%5C%200%26%20%28x%5Cleqslant%200%29%29%26%20%5Cend%7Bmatrix%7D%5Cright.
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 2]: /images/20220328/41d7a32aa9b8412c84091f2676dd0620.png
[h_x_ _ _left_begin_matrix_ x _x_ 0 _ _ _frac_x_a_ x_leqslant 0_ _end_matrix_right. a_epsilon _left _ 1_infty _right]: https://private.codecogs.com/gif.latex?%5Cfn_jvn%20h%28x%29%20%3D%20%5Cleft%5C%7B%5Cbegin%7Bmatrix%7D%20x%20%26x%3E%200%20%26%20%5C%5C%20%5Cfrac%7Bx%7D%7Ba%7D%26%20x%5Cleqslant%200%26%20%5Cend%7Bmatrix%7D%5Cright.%20a%5Cepsilon%20%5Cleft%20%28%201%2C&plus;%5Cinfty%20%5Cright%20%29
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 3]: /images/20220328/8780ce5635a24a4e8cec66363b9f10ba.png
[h_x_ _ _frac_1-e_-2x_1_e_-2x]: https://private.codecogs.com/gif.latex?h%28x%29%20%3D%20%5Cfrac%7B1-e%5E%7B-2x%7D%7D%7B1&plus;e%5E%7B-2x%7D%7D
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 4]: /images/20220328/8a30e8870bad45eeaa369aa9651b3e3a.png