梯度下降和反向传播的理解

﹏ヽ暗。殇╰゛Y 2022-11-28 03:49 150阅读 0赞

其实我们最终的目标，是为了得到一组权值值，使得损失函数的输出达到最小值，即求损失函数最小值，

求损失函数最小值，可以有：

1.  **直接通过求它的解析解(最小二乘法，腾讯课堂视频有讲解)**
2.  **梯度下降法**

这次我们只讲 梯度下降法，因为解析法 对于高纬度 函数 基本无解，简单的倒还是可以，见腾讯课堂视频

神经网络靠反向传播更新权重W 才能使得 我的 模型越来越逼近我想要的模型，

而这个过程，因为梯度下降是[函数值下降最快的方向][Link 1]，因此，

[激活函数、损失函数、优化函数都分别是什么？有什么作用？][Link 2]

（ML常用的除了梯度下降还有牛顿方法，核方法，求逆，MS算法(胶囊网络号称没用梯度下降，就是用了这个的变体)。）

## **[1.什么是梯度下降法][1.]** ##

绝大部分的机器学习算法最后都是最优化一个目标函数，而梯度下降算法是寻找一个函数局部最优解的有效方法。

顺着梯度下滑，找到最陡的方向，迈一小步，然后再找当前位，置最陡的下山方向，再迈一小步…

![format_png][]

以上那个图是 二元的目标函数，即，只有X,Y两个变量（权值W），Z是损失值的目标函数，找到目标函数的最低点，就找到的损失值最低的权值是多少。

扩展阅读：

[https://zhuanlan.zhihu.com/p/31167453][https_zhuanlan.zhihu.com_p_31167453]

[https://zhuanlan.zhihu.com/p/25355758][https_zhuanlan.zhihu.com_p_25355758]

[https://zhuanlan.zhihu.com/p/72040692][https_zhuanlan.zhihu.com_p_72040692]

[Link 1]: http://https//zhuanlan.zhihu.com/p/72040692
[Link 2]: https://blog.csdn.net/u013250416/article/details/81392161
[1.]: https://www.cnblogs.com/softzrp/p/6718909.html
[format_png]: /images/20221124/ea9052561e924662b175053f870c9da4.png
[https_zhuanlan.zhihu.com_p_31167453]: https://zhuanlan.zhihu.com/p/31167453
[https_zhuanlan.zhihu.com_p_25355758]: https://zhuanlan.zhihu.com/p/25355758
[https_zhuanlan.zhihu.com_p_72040692]: https://zhuanlan.zhihu.com/p/72040692

发表评论取消回复

表情：

评论列表（有 0 条评论，150人围观）

还没有评论，来说两句吧...

相关阅读

相关深度学习常用知识梯度下降学习率和反向传播

目录 1 梯度下降 2 学习率 3 反向传播 -------------------- 1 梯度下降梯度下降法主要用于单个参数的取值。假如损

雨点打透心脏的1/2处/ 2024年03月31日 15:51/ 0 赞/ 78 阅读

相关前向传播、反向传播(后向传播)、梯度下降、导数、链式法则

![20191009191333910.png][][日萌社][Link 1] [人工智能AI：Keras PyTorch MXNet TensorFlow Paddle

拼搏现实的明天。/ 2023年07月14日 13:59/ 0 赞/ 18 阅读

相关梯度下降、反向传播

![20191009191333910.png][] [日萌社][Link 1] [人工智能AI：Keras PyTorch MXNet TensorFlow Pa

迈不过友情╰/ 2023年07月03日 12:22/ 0 赞/ 24 阅读

相关反向传播之梯度更新

关于梯度的概念梯度是微积分中一个很重要的概念，之前提到过梯度的意义在单变量的函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率在

我会带着你远行/ 2023年01月17日 06:20/ 0 赞/ 227 阅读

相关 AI入门：反向传播和梯度下降

上一节中提到，分类函数是神经网络正向传播的最后一层。但是如果要进行训练，我们只有预测结果是不够的，我们需要拿预测结果跟真实值进行对比，根据对比结果判断我们的神经网络是不是够好。

小鱼儿/ 2022年12月27日 09:21/ 0 赞/ 139 阅读

相关深度学习的正、反向传播与梯度下降的实例

采用3层的全连接网络，首先正向传播一次并计算误差，之后反向传播一次更新参数，最后再次正向传播并计算误差全连接网络的具体结构如下： ![watermark_type_ZmF

Myth丶恋晨/ 2022年12月23日 06:26/ 0 赞/ 164 阅读

相关梯度下降和反向传播的理解

其实我们最终的目标，是为了得到一组权值值，使得损失函数的输出达到最小值，即求损失函数最小值，求损失函数最小值，可以有： 1. 直接通过求它的解析解(最小二乘法，腾讯课堂

﹏ヽ暗。殇╰゛Y/ 2022年11月28日 03:49/ 0 赞/ 151 阅读

相关梯度和梯度下降

文章目录导读方向导数和梯度梯度下降是什么为什么选择梯度下降随机梯度下降问题提出分析过程

柔光的暖阳◎/ 2022年11月28日 00:21/ 0 赞/ 325 阅读

相关理解梯度下降

[本文部分图片链接失效，欢迎前往我的博客查看最新版本][Link 1] 最优化问题及机器学习算法中非常重要的一部分，很多机器学习算法的核心都是在处理最优化问题。梯度下

Myth丶恋晨/ 2022年08月21日 14:45/ 0 赞/ 5 阅读

相关反向传播梯度的计算

1. 适用pytorch中Variable()函数中的backward()自动计算梯度 2. 手动实现梯度计算（缺点：计算网络复杂时容易出错，难以检查） --

悠悠/ 2021年12月22日 14:15/ 0 赞/ 315 阅读