Deep Learning 最优化方法之RMSProp

悠悠 2022-05-11 03:06 476阅读 0赞

本文是[Deep Learning 之 最优化方法][Deep Learning _]系列文章的RMSProp方法。主要参考Deep Learning 一书。

> 整个优化系列文章列表：
> 
> [Deep Learning 之 最优化方法][Deep Learning _]
> 
> [Deep Learning 最优化方法之SGD][Deep Learning _SGD]
> 
> [Deep Learning 最优化方法之Momentum（动量）][Deep Learning _Momentum]
> 
> [Deep Learning 最优化方法之Nesterov(牛顿动量)][Deep Learning _Nesterov]
> 
> [Deep Learning 最优化方法之AdaGrad][Deep Learning _AdaGrad]
> 
> [Deep Learning 最优化方法之RMSProp][Deep Learning _RMSProp]
> 
> [Deep Learning 最优化方法之Adam][Deep Learning _Adam]

先上结论

> 1.[AdaGrad][Deep Learning _AdaGrad]算法的改进。鉴于神经网络都是非凸条件下的，RMSProp在非凸条件下结果更好，改变梯度累积为指数衰减的移动平均以丢弃遥远的过去历史。
> 
> 2.经验上，RMSProp被证明有效且实用的深度学习网络优化算法。
> 
> 相比于AdaGrad的历史梯度：
> 
> ![这里写图片描述][SouthEast]
> 
> RMSProp增加了一个衰减系数来控制历史信息的获取多少：
> 
> ![这里写图片描述][SouthEast 1]

--------------------

再看原始的RMSProp算法:  
![这里写图片描述][SouthEast 2]

--------------------

再看看**结合Nesterov动量的RMSProp**，直观上理解就是：  
RMSProp改变了学习率，Nesterov引入动量改变了梯度，从两方面改进更新方式。  
![这里写图片描述][SouthEast 3]

[Deep Learning _]: http://blog.csdn.net/BVL10101111/article/details/72614711
[Deep Learning _SGD]: http://blog.csdn.net/bvl10101111/article/details/72615436
[Deep Learning _Momentum]: http://blog.csdn.net/bvl10101111/article/details/72615621
[Deep Learning _Nesterov]: http://blog.csdn.net/bvl10101111/article/details/72615961
[Deep Learning _AdaGrad]: http://blog.csdn.net/bvl10101111/article/details/72616097
[Deep Learning _RMSProp]: http://blog.csdn.net/bvl10101111/article/details/72616378
[Deep Learning _Adam]: http://blog.csdn.net/bvl10101111/article/details/72616516
[SouthEast]: /images/20220511/96497a03125b4ae68d6216d90fbc4363.png
[SouthEast 1]: /images/20220511/982da5d1582342e082565b0d2abbc23b.png
[SouthEast 2]: /images/20220511/a7cfbd908b804170b3007aa771fd5137.png
[SouthEast 3]: /images/20220511/438fd25aff5d465792a67b504d317005.png