为什么神经网络需要非线性激活函数

我不是女神ヾ 2023-06-20 09:04 183阅读 0赞

生物神经网络启发了人工神经网络的发展，在了解为什么神经网络需要非线性激活函数之前，理解生物神经网络的工作原理对我们是有帮助的。

![20191209161123597.png][]

一个典型的生物神经元的物理结构包括细胞体、树突、轴突。树突具有接受刺激并将冲动传入细胞体的功能，细胞体具有联络和整合输入信息并传出信息的作用，轴突的主要功能是将神经冲动由细胞体传至其他神经元。神经元通过树突接收来自其他神经元的信号，来自树突的信号在细胞体中积累，如果产生的信号强度超过一定的阈值，神经元就把信息传递给轴突。否则，信号会被神经元杀死，不再传播。

![2019120916230569.png][]

在人工神经网络中，激活函数决定是否需要传递信号。上图中第二层的神经单元可以看做是一个细胞体，它接收来自其它神经元的信号，然后整合信息。在人工神经网络中计算如下，b代表偏置项(在上图中代表一个实数)，g代表激活函数。

![20191209162719764.png][]

如果神经网络中没有激活函数，或者说是线性激活函数，那么会发生什么呢？

![20191209162912788.png][]

假设有一个上图所示的两层的浅层神经网络(输入层不算)，如果每个神经元都采用线性激活函数g(z)=z。

上面的神经网络正向传播的过程就可以表示如下：

中括号表示第几层，W是权重矩阵，![W^\{\[1\]\}][W_1]的维度是(3,3)，![b^\{\[1\]\}][b_1]和![z^\{\[1\]\}][z_1]的维度是(3,1)，![W^\{\[2\]\}][W_2]的维度是(1,3)，![b^\{\[2\]\}][b_2]和![z^\{\[2\]\}][z_2]的维度是(1,1)，x是(3,1)的向量。

![2019120916370132.png][]

![20191209163708153.png][]

![20191209163718508.png][]

![20191209163741464.png][]

可以看到第二层的输出值仍然是输入特征的线性组合，不难想象，如果在神经网络中使用线性激活函数或者没有激活函数，那么无论你的神经网络有多少层，一直在做的只是线性计算，最后的结果其实也只是一个线性方程，这就使得我们无法计算更复杂的函数。神经网络是用来实现复杂函数的，使用非线性激活函数使它能够逼近任意复杂函数。如果没有激活函数引入的非线性，多层神经网络相当于单层神经网络。

下面举个例子

![20191209164836772.png][]

这里有两个类别，x1和x2的取值只能是0或1，当x1=x2时，为**X**类别，否则就为⚪类别。直观上来看，上图中的数据点不是线性可分的，或者说我们无法使用一条直线来正确划分开两个类别，所以我们需要使用非线性的激活函数，使我们得到非线性的决策边界来分开它们。

![20191209165816337.png][]

再举一个例子，如果我们希望分开上图中的蓝色点和红色点，很明显无法使用一条直线来将它们分开，这就需要使用非线性激活函数的神经网络才能实现，下图为使用非线性激活函数神经网络的决策边界。

![20191209170329278.png][]

使用激活函数还有一个作用，它能将神经元的输出映射在在一定范围之内。如果单纯是像这样的线性组合 ![b+\\sum\_\{i=1\}^\{n\}w\_ix\_i][b_sum_i_1_n_w_ix_i]

这个值可能会变得非常大，而这个数字如果不经过任何修改又传给下一层的神经元，那就可能变成更大的数字，这会使得过程变得难以计算。

[20191209161123597.png]: https://img-blog.csdnimg.cn/20191209161123597.png
[2019120916230569.png]: https://img-blog.csdnimg.cn/2019120916230569.png
[20191209162719764.png]: https://img-blog.csdnimg.cn/20191209162719764.png
[20191209162912788.png]: https://img-blog.csdnimg.cn/20191209162912788.png
[W_1]: https://latex.codecogs.com/gif.latex?W%5E%7B%5B1%5D%7D
[b_1]: https://latex.codecogs.com/gif.latex?b%5E%7B%5B1%5D%7D
[z_1]: https://latex.codecogs.com/gif.latex?z%5E%7B%5B1%5D%7D
[W_2]: https://latex.codecogs.com/gif.latex?W%5E%7B%5B2%5D%7D
[b_2]: https://latex.codecogs.com/gif.latex?b%5E%7B%5B2%5D%7D
[z_2]: https://latex.codecogs.com/gif.latex?z%5E%7B%5B2%5D%7D
[2019120916370132.png]: https://img-blog.csdnimg.cn/2019120916370132.png
[20191209163708153.png]: https://img-blog.csdnimg.cn/20191209163708153.png
[20191209163718508.png]: https://img-blog.csdnimg.cn/20191209163718508.png
[20191209163741464.png]: https://img-blog.csdnimg.cn/20191209163741464.png
[20191209164836772.png]: https://img-blog.csdnimg.cn/20191209164836772.png
[20191209165816337.png]: https://img-blog.csdnimg.cn/20191209165816337.png
[20191209170329278.png]: https://img-blog.csdnimg.cn/20191209170329278.png
[b_sum_i_1_n_w_ix_i]: https://private.codecogs.com/gif.latex?b&plus;%5Csum_%7Bi%3D1%7D%5E%7Bn%7Dw_ix_i