两层神经网络的参数求导过程

﹏ヽ暗。殇╰゛Y 2023-10-09 17:54 56阅读 0赞

假设输入数据  x ∈ R n x\\in\\mathbb\{R\}^n x∈Rn，两层神经网络有以下形式：

![在这里插入图片描述][687e51fbf07e48f18f31b2d47533aff1.png_pic_center]  
其中  W 1 ∈ R h × n W\_1\\in\\mathbb\{R\}^\{h\\times n\} W1∈Rh×n 和  W 2 ∈ R m × h W\_2\\in\\mathbb\{R\}^\{m\\times h\} W2∈Rm×h 分别是第一层和第二层的权重矩阵， b 1 ∈ R h b\_1\\in\\mathbb\{R\}^h b1∈Rh 和  b 2 ∈ R m b\_2\\in\\mathbb\{R\}^m b2∈Rm 分别是第一层和第二层的偏置向量， σ \\sigma σ 是激活函数。

梯度是一个关于参数的向量，指出每个参数的变化方向，以便在优化过程中更新参数。对于每个参数，可以计算它对目标函数的梯度。在这里，我们将使用交叉熵损失函数作为目标函数：

![在这里插入图片描述][b29d72a7d39f40f799c16beb6b8fc8c5.png_pic_center]  
其中  y ∈ R m y\\in\\mathbb\{R\}^m y∈Rm 是真实标签向量， y ^ ∈ R m \\hat\{y\}\\in\\mathbb\{R\}^m y^∈Rm 是模型预测标签向量。

我们需要求出每个参数的偏导数，以计算梯度。下面是各参数的偏导数：

![在这里插入图片描述][a806107c6b5f4eaa8f0cf51b508d8544.png_pic_center]  
其中  ⊙ \\odot ⊙ 是哈达玛积， σ ′ \\sigma' σ′ 是  σ \\sigma σ 的导数。

最终，对于每个参数，我们可以将其梯度表示为：  
![在这里插入图片描述][9058df9b992f40298b30abf81467f9bf.png_pic_center]  
使用梯度下降等算法，可以通过调整参数来最小化损失函数。

--------------------

为了更好地理解上面公式中的符号和求导过程，下面进行一些详细的解释和推导。

首先，对于神经网络中的每个节点，都有一个加权和和一个激活函数。对于第一层，输入  x x x 经过加权和后得到：  
![b963c16766544ceb82e4dd77dc968947.png_pic_center][]  
其中， W 1 W\_1 W1 是第一层的权重矩阵， b 1 b\_1 b1 是第一层的偏置向量。然后， z 1 z\_1 z1 经过激活函数  σ \\sigma σ 得到：

![在这里插入图片描述][af9c0bee009c464d8c5fee9d0b734609.png_pic_center]

h 1 h\_1 h1 作为第二层的输入，经过加权和后得到：

![在这里插入图片描述][782a8d2a676f463f937a81ddc4842d4e.png_pic_center]  
最后， z 2 z\_2 z2 经过激活函数  σ \\sigma σ 得到网络的输出：  
![在这里插入图片描述][2ba15a45af9a4fdd950e99db671581ec.png_pic_center]  
这个输出向量  y ^ \\hat\{y\} y^ 是模型对输入  x x x 的预测结果。

现在，我们来推导损失函数对参数的梯度。首先，我们需要求出损失函数关于网络输出  y ^ \\hat\{y\} y^ 的偏导数：

![在这里插入图片描述][9d83c2f4296041a396191d16dc29c6cd.png_pic_center]  
然后，根据链式法则，我们可以计算出损失函数对最后一层加权和  z 2 z\_2 z2 的偏导数：

![在这里插入图片描述][12d11a37de214d08beece57aaaa6a0f3.png_pic_center]  
其中， σ ′ ( z 2 , i ) \\sigma'(z\_\{2,i\}) σ′(z2,i) 表示  σ \\sigma σ 函数在  z 2 , i z\_\{2,i\} z2,i 处的导数。

接下来，我们需要计算损失函数对第二层参数  W 2 W\_2 W2 和  b 2 b\_2 b2 的偏导数。根据链式法则，我们可以得到：

![在这里插入图片描述][927dd9b7fd854f38a61bea9ac1d974fe.png_pic_center]  
对于第一层，根据链式法则，我们可以计算出损失函数对第一层加权和  z 1 z\_1 z1 的偏导数：

![在这里插入图片描述][17f2d3d650f0497ea842bf1078c78cda.png_pic_center]  
其中， W 2 , i , j W\_\{2,i,j\} W2,i,j 表示第二层的权重矩阵中第  i i i 行第  j j j 列的元素。

最后，我们可以计算损失函数对第一层参数  W 1 W\_1 W1 和  b 1 b\_1 b1 的偏导数：

![在这里插入图片描述][700b7cf4642249e4a2fe2b70a011683d.png_pic_center]  
其中， x k x\_k xk 表示输入向量  x x x 中第  k k k 个元素。

综上所述，我们可以得到损失函数关于所有参数的偏导数公式。利用这些公式，我们可以使用梯度下降等优化算法来更新参数，从而不断改进神经网络的性能。

--------------------

⊙ \\odot ⊙ 符号表示矩阵的按元素乘法，也称为哈达玛积。例如，如果有两个同样大小的矩阵  A A A 和  B B B，则它们的哈达玛积为：

![在这里插入图片描述][638d3653fad44cb9b9fc407aea9bf276.png_pic_center]  
其中， a i , j a\_\{i,j\} ai,j 和  b i , j b\_\{i,j\} bi,j 分别表示矩阵  A A A 和  B B B 中第  i i i 行第  j j j 列的元素。

在神经网络中，哈达玛积的应用比较广泛。例如，在反向传播算法中，我们需要计算两个矩阵的按元素乘积，以便计算损失函数对权重参数的偏导数。具体地，对于两个相同大小的矩阵  A A A 和  B B B，它们的按元素乘积  C = A ⊙ B C = A \\odot B C=A⊙B 的每个元素  c i , j = a i , j ⋅ b i , j c\_\{i,j\} = a\_\{i,j\} \\cdot b\_\{i,j\} ci,j=ai,j⋅bi,j，然后将  C C C 作为中间变量用于计算梯度。

[687e51fbf07e48f18f31b2d47533aff1.png_pic_center]: https://img-blog.csdnimg.cn/687e51fbf07e48f18f31b2d47533aff1.png#pic_center
[b29d72a7d39f40f799c16beb6b8fc8c5.png_pic_center]: https://img-blog.csdnimg.cn/b29d72a7d39f40f799c16beb6b8fc8c5.png#pic_center
[a806107c6b5f4eaa8f0cf51b508d8544.png_pic_center]: https://img-blog.csdnimg.cn/a806107c6b5f4eaa8f0cf51b508d8544.png#pic_center
[9058df9b992f40298b30abf81467f9bf.png_pic_center]: https://img-blog.csdnimg.cn/9058df9b992f40298b30abf81467f9bf.png#pic_center
[b963c16766544ceb82e4dd77dc968947.png_pic_center]: https://img-blog.csdnimg.cn/b963c16766544ceb82e4dd77dc968947.png#pic_center
[af9c0bee009c464d8c5fee9d0b734609.png_pic_center]: https://img-blog.csdnimg.cn/af9c0bee009c464d8c5fee9d0b734609.png#pic_center
[782a8d2a676f463f937a81ddc4842d4e.png_pic_center]: https://img-blog.csdnimg.cn/782a8d2a676f463f937a81ddc4842d4e.png#pic_center
[2ba15a45af9a4fdd950e99db671581ec.png_pic_center]: https://img-blog.csdnimg.cn/2ba15a45af9a4fdd950e99db671581ec.png#pic_center
[9d83c2f4296041a396191d16dc29c6cd.png_pic_center]: https://img-blog.csdnimg.cn/9d83c2f4296041a396191d16dc29c6cd.png#pic_center
[12d11a37de214d08beece57aaaa6a0f3.png_pic_center]: https://img-blog.csdnimg.cn/12d11a37de214d08beece57aaaa6a0f3.png#pic_center
[927dd9b7fd854f38a61bea9ac1d974fe.png_pic_center]: https://img-blog.csdnimg.cn/927dd9b7fd854f38a61bea9ac1d974fe.png#pic_center
[17f2d3d650f0497ea842bf1078c78cda.png_pic_center]: https://img-blog.csdnimg.cn/17f2d3d650f0497ea842bf1078c78cda.png#pic_center
[700b7cf4642249e4a2fe2b70a011683d.png_pic_center]: https://img-blog.csdnimg.cn/700b7cf4642249e4a2fe2b70a011683d.png#pic_center
[638d3653fad44cb9b9fc407aea9bf276.png_pic_center]: https://img-blog.csdnimg.cn/638d3653fad44cb9b9fc407aea9bf276.png#pic_center