神经网络与深度学习（四）续

素颜马尾好姑娘i 2022-03-16 15:12 309阅读 0赞

# 1 神经网络与深度学习 #

## 1.4 浅层神经网络 ##

上接：[https://blog.csdn.net/qq\_41556318/article/details/88014549][https_blog.csdn.net_qq_41556318_article_details_88014549]

### 1.4.9 Gradient descent for neural networks ###

接下来看一下在神经网络中如何进行梯度计算。  
  仍然是浅层神经网络，包含的参数为  W \[ 1 \] , b \[ 1 \] , W \[ 2 \] , b \[ 2 \] \{W^\{\[1\]\}\},\{b^\{\[1\]\}\},\{W^\{\[2\]\}\},\{b^\{\[2\]\}\} W\[1\],b\[1\],W\[2\],b\[2\]。令输入层的特征向量个数 n x = n \[ 0 \] \{n\_x\} = \{n^\{\[0\]\}\} nx=n\[0\] ，隐藏层神经元个数为 n \[ 1 \] \{n^\{\[1\]\}\} n\[1\] ，输出层神经元个数为 n \[ 2 \] = 1 \{n^\{\[2\]\}\}\{\\rm\{ = \}\}1 n\[2\]=1 。则  W \[ 1 \] \{W^\{\[1\]\}\} W\[1\]的维度为（ n \[ 1 \] \{n^\{\[1\]\}\} n\[1\] , n \[ 0 \] \{n^\{\[0\]\}\} n\[0\] ），  b \[ 1 \] \{b^\{\[1\]\}\} b\[1\]的维度为（  n \[ 1 \] \{n^\{\[1\]\}\} n\[1\],1）， W \[ 2 \] \{W^\{\[2\]\}\} W\[2\]的维度为（ n \[ 2 \] \{n^\{\[2\]\}\} n\[2\] , n \[ 1 \] \{n^\{\[1\]\}\} n\[1\]）， b \[ 2 \] \{b^\{\[2\]\}\} b\[2\] 的维度为（  n \[ 2 \] \{n^\{\[2\]\}\} n\[2\],1）。  
  该神经网络正向传播过程为： ![在这里插入图片描述][20190228093952933.png_pic_center]  
其中，g(⋅)表示激活函数。  
  反向传播是计算导数（梯度）的过程，这里先列出来Cost function对各个参数的梯度： ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTU2MzE4_size_16_color_FFFFFF_t_70_pic_center]  
  反向传播的具体推导过程我们下一部分再进行详细说明。

### 1.4.10 Backpropagation intuition(optional) ###

我们仍然使用计算图的方式来推导神经网络反向传播过程。记得之前介绍逻辑回归时，我们就引入了计算图来推导正向传播和反向传播，其过程如下图所示： ![在这里插入图片描述][20190228094318678.png_pic_center]  
  由于多了一个隐藏层，神经网络的计算图要比逻辑回归的复杂一些，如下图所示。对于单个训练样本，正向过程很容易，反向过程可以根据梯度计算方法逐一推导。 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTU2MzE4_size_16_color_FFFFFF_t_70_pic_center 1]  
![在这里插入图片描述][20190228094336431.png_pic_center]  
  总结一下，浅层神经网络（包含一个隐藏层），m个训练样本的正向传播过程和反向传播过程分别包含了6个表达式，其向量化矩阵形式如下图所示： ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTU2MzE4_size_16_color_FFFFFF_t_70_pic_center 2]

### 1.4.11 Random Initialization ###

神经网络模型中的参数权重W是不能全部初始化为零的，接下来我们分析一下原因。  
  举个简单的例子，一个浅层神经网络包含两个输入，隐藏层包含两个神经元。如果权重  W \[ 1 \] \{W^\{\[1\]\}\} W\[1\]和  W \[ 2 \] \{W^\{\[2\]\}\} W\[2\]都初始化为零，即： ![在这里插入图片描述][20190228094613230.png_pic_center]  
  这样使得隐藏层第一个神经元的输出等于第二个神经元的输出，即  a 1 \[ 1 \] = a 2 \[ 1 \] a\_1^\{\[1\]\} = a\_2^\{\[1\]\} a1\[1\]=a2\[1\]。经过推导得到  d z 1 \[ 1 \] = d z 2 \[ 1 \] dz\_1^\{\[1\]\} = dz\_2^\{\[1\]\} dz1\[1\]=dz2\[1\]，以及 d W 1 \[ 1 \] = d W 2 \[ 1 \] dW\_1^\{\[1\]\} = dW\_2^\{\[1\]\} dW1\[1\]=dW2\[1\] 。因此，这样的结果是隐藏层两个神经元对应的权重行向量  W 1 \[ 1 \] W\_1^\{\[1\]\} W1\[1\]和  W 2 \[ 1 \] W\_2^\{\[1\]\} W2\[1\]每次迭代更新都会得到完全相同的结果，  W 1 \[ 1 \] W\_1^\{\[1\]\} W1\[1\]始终等于 W 2 \[ 1 \] W\_2^\{\[1\]\} W2\[1\] ，完全对称。这样隐藏层设置多个神经元就没有任何意义了。值得一提的是，参数b可以全部初始化为零，并不会影响神经网络训练效果。 ![在这里插入图片描述][20190228094730109.png_pic_center]  
  我们把这种权重W全部初始化为零带来的问题称为symmetry breaking problem。解决方法也很简单，就是将W进行随机初始化（b可初始化为零）。python里可以使用如下语句进行W和b的初始化：

w_1 = np.random.randn((2, 2)) * 0.01
    b_1 = np.zero((2, 1))
    w_2 = np.random.randn((1, 2)) * 0.01
    b_2 = 0

这里我们将  W 1 \[ 1 \] W\_1^\{\[1\]\} W1\[1\]和  W 2 \[ 1 \] W\_2^\{\[1\]\} W2\[1\]乘以0.01的目的是尽量使得权重W初始化比较小的值。之所以让W比较小，是因为如果使用sigmoid函数或者tanh函数作为激活函数的话，W比较小，得到的|z|也比较小（靠近零点），而零点区域的梯度比较大，这样能大大提高梯度下降算法的更新速度，尽快找到全局最优解。如果W较大，得到的|z|也比较大，附近曲线平缓，梯度较小，训练过程会慢很多。  
  当然，如果激活函数是ReLU或者Leaky ReLU函数，则不需要考虑这个问题。但是，如果输出层是sigmoid函数，则对应的权重W最好初始化到比较小的值。

### 1.4.12 Summary ###

本节课主要介绍了浅层神经网络。首先，我们简单概述了神经网络的结构：包括输入层，隐藏层和输出层。然后，我们以计算图的方式推导了神经网络的正向输出，并以向量化的形式归纳出来。接着，介绍了不同的激活函数并做了比较，实际应用中根据不同需要选择合适的激活函数。激活函数必须是非线性的，不然神经网络模型起不了任何作用。然后，我们重点介绍了神经网络的反向传播过程以及各个参数的导数推导，并以矩阵形式表示出来。最后，介绍了权重随机初始化的重要性，必须对权重W进行随机初始化操作。

[https_blog.csdn.net_qq_41556318_article_details_88014549]: https://blog.csdn.net/qq_41556318/article/details/88014549
[20190228093952933.png_pic_center]: /images/20220316/e857111d9f7a48398c7567c92998068c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTU2MzE4_size_16_color_FFFFFF_t_70_pic_center]: /images/20220316/2936a4ab78264403ad469359db1c2043.png
[20190228094318678.png_pic_center]: /images/20220316/478dfe1fc89b4430af2b2c85c8cdecd3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTU2MzE4_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20220316/e7a1621e26f243cfa9bf47fbd8bb3bf7.png
[20190228094336431.png_pic_center]: /images/20220316/7f4860b2d6e0404b9825206ae0032c75.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTU2MzE4_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20220316/96a242d275884fd0b12e0c13feacc478.png
[20190228094613230.png_pic_center]: /images/20220316/3e480a2be4a84774a8e6552b0c52f328.png
[20190228094730109.png_pic_center]: /images/20220316/81fd48253f63469aa2658832174b9090.png